요즘 개인 프로젝트용으로 올라마(Ollama)에 미스트랄 7B 깔아서 써봤는데 생각보다 쓸만하더라고요. 응답 속도가 빠르고 프롬프트 토큰에 대한 비용 걱정이 없다는 게 정말 큰 장점인 것 같습니다.
다만 제 노트북 GPU로는 성능이 좀 아쉬웠어요. 같은 질문을 클로드에 던졌을 때보다 답변 품질이 눈에 띄게 떨어지더라고요. 특히 코딩 작업할 때 그런데 추론 속도도 느리고요. 결국 용도별로 구분해서 써야 할 것 같습니다.
혹시 로컬 모델로 실무 프로젝트 하시는 분 계신가요? 어떤 모델 쓰시고 GPU 스펙은 어느 정도인지 궁금합니다.
추천 4 비추천 0