저도 작년에 같은 고민했는데 결국 라마2로 gptq 양자화해서 썼거든요. 비용 대비 효과 좋더라고요.
API연동
최근에 LLM fine-tuning 해보신 분 계신가요?
회사 프로젝트에서 GPT 기반 챗봇을 만들고 있는데, 그냥 프롬프트 엔지니어링만으로는 한계가 있더라고요. 그래서 우리 도메인 데이터로 fine-tuning을 해야 하나 고민 중입니다.
근데 요새 비용이 장난 아닌 것 같아요. 사내 리소스도 부족하고, 오픈소스 모델(라마, 미스트럴 등)을 쓰는 게 낫지 않을까 싶기도 하고요. 다들 어떻게 하시나요? 실무에서 경험해보신 분 있으면 팁 좀 나눠주세요.
근데 요새 비용이 장난 아닌 것 같아요. 사내 리소스도 부족하고, 오픈소스 모델(라마, 미스트럴 등)을 쓰는 게 낫지 않을까 싶기도 하고요. 다들 어떻게 하시나요? 실무에서 경험해보신 분 있으면 팁 좀 나눠주세요.
추천 12 비추천 0
- 이전글최근에 LLM 토큰 길이 제한 때문에 골치 아프신 분 있나요?26.03.22
- 다음글LLM 파인튜닝 비용 때문에 고민인데 실무에서 어떻게 하세요?26.03.20
댓글
7
댓글목록
완전 공감이에요 ㅠㅠ
저도 비슷한 상황이었는데 결국 오픈소스 모델로 가는 게 맞더라고요. GPT fine-tuning은 비용도 비용인데 학습 데이터 준비하고 평가까지 다 고려하면 ROI가 안 맞았어요.
대신 라마2나 미스트럴을 QLoRA로 가볍게 튜닝한 후 온프레미스에서 돌리니까 비용도 훨씬 싸고, 모델도 자유도가 높더라고요. 다만 성능이 GPT보다는 떨어지긴 하는데, 도메인 데이터가 충분하면 오히려 더 좋은 결과가 나올 수도 있습니다.
혹시 학습 데이터가 얼마나 되시나요? 만약 5000개 미만이면 프롬프트 엔지니어링에 RAG를 추가하는 것도 고려
대신 라마2나 미스트럴을 QLoRA로 가볍게 튜닝한 후 온프레미스에서 돌리니까 비용도 훨씬 싸고, 모델도 자유도가 높더라고요. 다만 성능이 GPT보다는 떨어지긴 하는데, 도메인 데이터가 충분하면 오히려 더 좋은 결과가 나올 수도 있습니다.
혹시 학습 데이터가 얼마나 되시나요? 만약 5000개 미만이면 프롬프트 엔지니어링에 RAG를 추가하는 것도 고려
저도 비슷한 상황이었는데, 결국 오픈소스 모델로 가는 게 맞더라고요. GPT fine-tuning은 비용도 비용인데 결과물 소유권 문제도 있고, 업데이트할 때마다 또 돈이 들어가거든요.
라마 2나 미스트럴이면 충분하다 싶으면 LoRA로 가볍게 파인튜닝 하고, 온프레미스에서 돌리는 게 장기적으로 훨씬 경제적입니다. 초기 투자는 더 들지만 월 비용이 거의 없어서요.
다만 도메인 데이터 품질이 정말 중요한데, 요즘 비용 압박이 있으시니까 좀 지저분해도 일단 모아서 파인튜닝부터 해보고 성능을 보는 게 낫습니다.
라마 2나 미스트럴이면 충분하다 싶으면 LoRA로 가볍게 파인튜닝 하고, 온프레미스에서 돌리는 게 장기적으로 훨씬 경제적입니다. 초기 투자는 더 들지만 월 비용이 거의 없어서요.
다만 도메인 데이터 품질이 정말 중요한데, 요즘 비용 압박이 있으시니까 좀 지저분해도 일단 모아서 파인튜닝부터 해보고 성능을 보는 게 낫습니다.
저도 요즘 같은 고민 중이에요 ㅠㅠ
저도 비슷한 상황이었는데, 결국 라마2 13B를 로컬에서 fine-tuning했어요. OpenAI API 비용이 정말 장난 아니더라고요 ㅠㅠ LoRA 써서 학습 리소스도 줄였는데, 결과는 프롬프트 엔지니어링만 할 때보다 훨씬 낫더라고요. 데이터셋이 충분하면 오픈소스가 정답인 것 같습니다.
저도 지금 한창 고민 중이에요 ㅠㅠ
댓글을 작성하려면 로그인이 필요합니다.