저도 Ollama로 Mistral 돌리고 있는데 양자화 정말 중요하더라고요. Q4_K_M으로 깔면 성능 손실 거의 없으면서 메모리는 확 줄어들어서 좋아요. 코드 리뷰나 문서화 작업할 때 오프라인이라 마음 놓고 쓸 수 있다는 게 최대 장점인 것 같습니다.
오류해결
로컬 LLM 써보신 분 있나요? 성능이 생각보다 괜찮네요
요즘 Ollama로 Llama2 돌려보고 있는데 생각보다 쓸만하더라고요. 물론 클로드나 GPT-4 같은 건 아니지만, 간단한 코드 작성이나 문서 요약 같은 건 충분히 잘해요.
가장 좋은 점은 인터넷 연결이 없어도 되고 프롬프트가 서버에 저장 안 된다는 거예요. 회사에서 민감한 코드 분석할 때 정말 편하거든요. 다만 GPU 메모리를 꽤 잡아먹어서 처음엔 좀 답답했는데, 양자화 모델 깔고나니 괜찮아졌어요.
혹시 로컬 LLM 쓰시는 분 계신가요? 어떤 모델 쓰시고 실제로 업무에 도움 되세요?
가장 좋은 점은 인터넷 연결이 없어도 되고 프롬프트가 서버에 저장 안 된다는 거예요. 회사에서 민감한 코드 분석할 때 정말 편하거든요. 다만 GPU 메모리를 꽤 잡아먹어서 처음엔 좀 답답했는데, 양자화 모델 깔고나니 괜찮아졌어요.
혹시 로컬 LLM 쓰시는 분 계신가요? 어떤 모델 쓰시고 실제로 업무에 도움 되세요?
추천 12 비추천 0
- 이전글프롬프트 엔지니어링 vs 파인튜닝, 실무에선 뭐가 더 효율적인가요?26.04.29
- 다음글최신 LLM들 컨텍스트 윈도우 비교해보니 생각보다 차이 크네요26.04.28
댓글
2
댓글목록
저도 Ollama 써봤는데 정말 그래요. 양자화 모델 깔면 확실히 달라지더라고요. 회사 보안 때문에 로컬이 필수라 저도 요즘 Llama2 위주로 쓰고 있어요. 다만 응답 속도가 조금 아쉬울 때도 있긴 하네요.
댓글을 작성하려면 로그인이 필요합니다.