저도 최근에 Llama 2 돌려봤는데 정말 그거네요. 응답 속도가 빨라서 개발 루프가 훨씬 쾌적하더라고요. 다만 양자화로 4bit 줄이니까 메모리도 좀 덜 먹고 속도도 크게 안 떨어지던데 시도해보셨나요? 저는 코딩 작업은 아직도 API 쓰지만 프라이빗 데이터 분석할 때 로컬이 정말 편하네요.
오류해결
로컬 LLM 돌려보니까 생각보다 쓸만하네요
요즘 Llama 2 로컬에서 돌려보고 있는데 확실히 달라지더라고요. 클라우드 API 쓸 때는 응답 시간이 좀 있어도 괜찮은데, 로컬에서 돌리니까 지연이 거의 없어서 개발할 때 훨씬 쾌적하네요. 물론 GPU 메모리 먹는 건 어쩔 수 없고요.
코딩 관련 질문에는 아직 GPT-4보다는 떨어지는 느낌이긴 한데, 간단한 작업이나 문서 분석 같은 건 충분히 잘하더라고요. 특히 프라이빗한 데이터 갖고 테스트할 때는 로컬이 훨씬 편합니다.
혹시 이미 로컬 LLM 돌려보신 분 계신가요? 어떤 모델 쓰시는지, 실무에서도 쓸만한지 궁금하네요. 최적화 팁이 있으면 공유 부탁드립니다.
코딩 관련 질문에는 아직 GPT-4보다는 떨어지는 느낌이긴 한데, 간단한 작업이나 문서 분석 같은 건 충분히 잘하더라고요. 특히 프라이빗한 데이터 갖고 테스트할 때는 로컬이 훨씬 편합니다.
혹시 이미 로컬 LLM 돌려보신 분 계신가요? 어떤 모델 쓰시는지, 실무에서도 쓸만한지 궁금하네요. 최적화 팁이 있으면 공유 부탁드립니다.
추천 10 비추천 0
- 이전글LLM 파인튜닝할 때 LoRA vs 전체 파라미터 학습 어떻게 선택하세요?26.04.06
- 다음글LLM 응답 시간 단축하려고 캐싱 적용했는데 실제 효과가 있네요26.04.04
댓글
2
댓글목록
저도 Llama 2 쓰다가 최근에 Mistral 7B 써봤는데 코딩은 좀 더 낫더라고요. VRAM 효율도 괜찮고요. 양자화로 4비트 줄이면 GPU 메모리 훨씬 절약돼서 추천드립니다.
댓글을 작성하려면 로그인이 필요합니다.