회사 프로젝트에서 클라우드 기반 API 대신 로컬에서 돌릴 수 있는 모델을 찾고 있는데, 의견이 분분하더라고요. 라마2, 미스트랄, 노토스 이런 것들이 있던데 실제로 프로덕션에서 쓰기에는 어떤 게 가장 실용적인지 궁금합니다.
특히 응답 속도랑 정확도 면에서 클로드나 GPT-4 정도의 수준을 기대하면 안 될까요? 아니면 그냥 각각의 용도가 따로 있는 거라고 봐야 하나요.
비용 이슈도 있고 자체 서버에 배포하고 싶어서 관심 가지고 있는데, 실제 경험해보신 분들의 의견 듣고 싶습니다.
추천 9 비추천 0