저도 미스트랄 7B 써봤는데 정확히 같은 느낌이에요. 빠른 속도는 좋은데 코딩 작업에서는 진짜 답답하더라고요. 결국 RTX 4090 있는 회사 서버에 라마2 70B 깔아놨는데 그 정도면 실무용으로 쓸만한 수준입니다. 개인 프로젝트면 미스트랄 정도면 충분하지만 품질이 필요한 작업은 클로드 같은 클라우드 서비스랑 병행하는 게 현실적이네요.
AI새싹
저도 올라마 써봤는데 코딩은 확실히 큰 모델이 나아요. 13B 이상 써보셨어요? RTX 4060 정도면 13B도 버거워서 결국 API 돌아왔네요 ㅠㅠ
코드리뷰어
예전에 이 문제 때문에 한참 삽질했는데, 결국 로컬 모델은 빠른 프로토타이핑이나 개인용 챗봇 정도가 한계더라고요. 실무에서는 성능과 안정성 때문에 결국 클라우드로 돌아갔습니다. 미스트랄 7B면 나쁜 편은 아닌데 코딩은 확실히 14B 이상은 있어야 체감이 달라요. RTX 4060 정도면 13B 정도는 쓸만하네요.