회사에서 기밀 문서 분석해야 하는데 클라우드 API 쓸 수 없어서 로컬 LLM 테스트해봤어요. Ollama에 Mistral 깔아서 Langchain이랑 연결했는데 생각보다 잘 작동하더라고요. GPU 메모리만 충분하면 되는데 RTX 4090 있으면 꽤 빠릅니다.
다만 정확도 부분에서는 GPT-4가 훨씬 낫긴 한데, 간단한 문서 요약이나 분류는 충분히 쓸 수 있겠다는 생각이 들었어요. 특히 한국어 처리는 약간 아쉽지만 프롬프트 엔지니어링으로 어느 정도 커버 가능한 것 같습니다.
혹시 같은 방식으로 구축하신 분 계신가요? 프로덕션 환경에서는 어떻게 운영하시는지 궁금해요. 비용 대비 효과를 생각하면 로컬로 충분한지 아니면 결국 클라우드 쓰는 게 낫던지 의견 듣고 싶습니다.
추천 0 비추천 0