최근에 ollama로 llama2랑 mistral 돌려봤는데, 응답 속도는 빠른데 답변 퀄리티가 생각보다 아쉽더라고요. 특히 복잡한 논리나 코딩 관련 질문에서는 한계가 명확하게 느껴졌습니다.
회사 프로젝트에 활용할 생각도 있었는데, 정확성 때문에 고민이 돼요. 클라우드 API는 비용이 부담되고, 로컬에서 충분히 쓸 만한 오픈소스 모델이 있을까요? 아니면 지금 상황에선 그냥 API 쓰는 게 낫습니까?
혹시 프로덕션 환경에서 로컬 LLM 써본 분 있으면 경험담 좀 들려주세요. 특히 정확도랑 비용 트레이드오프 부분이 궁금합니다.
추천 11 비추천 0