저도 비슷한 구성인데 한국어 문제 정말 있더라고요. 저는 elyza나 Solar 모델을 깔아봤는데 Llama2보다는 한국어가 낫긴 한데 여전히 영어만큼은 아니네요. 전기료 걱정은 정말 공감합니다 ㅠㅠ 개인 프로젝트는 로컬로, 복잡한 거는 API 섞어 쓰는 게 요즘 가장 현실적인 것 같아요.
프롬프트
로컬 LLM 처음 써봤는데 생각보다 쓸만하네요
요즘 클로드나 GPT 구독료가 늘어나다 보니 로컬 LLM 한번 써봤어요. Ollama로 Llama2 깔아서 돌려봤는데 첫 느낌은 "어? 이 정도면 괜찮은데?"였어요. 특히 코드 리뷰나 간단한 문서 작성할 때는 온라인 모델이랑 거의 차이를 못 느꼈거든요.
다만 한국어 처리는 아직 아쉬운 부분이 더라고요. 프롬프트를 꼼꼼하게 써줘야 제대로 된 답변이 나오는데, 영어는 훨씬 수월합니다. 그리고 생각보다 GPU 비용이 있네요. 처음엔 무료라고 생각했는데 전기료 생각하니까...
아무튼 회사 컴퓨터는 보안상 못 쓰지만 개인 프로젝트용으로는 충분할 것 같아요. 비슷하게 구성해서 쓰시는 분 있으면 팁 좀 나눠주세요.
다만 한국어 처리는 아직 아쉬운 부분이 더라고요. 프롬프트를 꼼꼼하게 써줘야 제대로 된 답변이 나오는데, 영어는 훨씬 수월합니다. 그리고 생각보다 GPU 비용이 있네요. 처음엔 무료라고 생각했는데 전기료 생각하니까...
아무튼 회사 컴퓨터는 보안상 못 쓰지만 개인 프로젝트용으로는 충분할 것 같아요. 비슷하게 구성해서 쓰시는 분 있으면 팁 좀 나눠주세요.
추천 14 비추천 0
- 이전글프롬프트 엔지니어링 정말 필요한가요?26.06.27
- 다음글최근에 RAG 구현해보신 분들 어떤 벡터DB 쓰세요?26.06.12