저도 비슷한 상황이었는데 500개면 프롬프트 엔지니어링과 RAG 조합이 더 효율적일 거 같아요. 파인튜닝은 데이터가 많을수록 효과가 확실하거든요.
LLM 파인튜닝할 때 데이터셋 크기가 얼마나 중요한가요?
요즘 회사에서 특정 도메인용 챗봇을 만들고 있는데, 파인튜닝을 할지 말지 고민 중이에요. 기본 모델(GPT-3.5 같은 것)에 프롬프트 엔지니어링만 해도 되지 않을까 싶거든요.
근데 검색해보니 파인튜닝할 때 최소 몇 천 개의 학습 데이터가 필요하다고 하더라고요. 저희는 지금 고품질 데이터가 500개 정도밖에 없어요. 이 정도면 파인튜닝을 할 만한 가치가 있을까요? 아니면 그냥 프롬프트와 RAG로만 처리하는 게 나을까요?
혹시 이런 상황에서 파인튜닝 해보신 분 계신가요? 실제 효과가 어느 정도였는지 궁금합니다.
근데 검색해보니 파인튜닝할 때 최소 몇 천 개의 학습 데이터가 필요하다고 하더라고요. 저희는 지금 고품질 데이터가 500개 정도밖에 없어요. 이 정도면 파인튜닝을 할 만한 가치가 있을까요? 아니면 그냥 프롬프트와 RAG로만 처리하는 게 나을까요?
혹시 이런 상황에서 파인튜닝 해보신 분 계신가요? 실제 효과가 어느 정도였는지 궁금합니다.
추천 5
- 이전글ChatGPT 유료 vs 무료, 실제로 뭐가 다른지 정리해봤어요26.04.07
- 다음글LLM 토큰 개수 세는 게 왜 이렇게 헷갈리죠?26.04.06
댓글
5
댓글목록
500개면 솔직히 프롬프트 + RAG 조합이 더 효율적일 것 같네요. 저도 비슷한 상황이었는데 RAG로 충분했어요.
500개면 파인튜닝보단 RAG + 프롬프트 엔지니어링이 맞을 것 같아요. 저도 비슷한 상황이었는데 RAG로 충분했거든요. 파인튜닝은 정말 고품질 데이터가 몇 천 개 이상 있을 때 의미가 있더라고요. 지금은 데이터 더 모으다가 나중에 고려해보셔요.
500개면 프롬프트 + RAG 먼저 해보는 게 맞을 것 같아요. 파인튜닝은 데이터 모으면서 동시에 준비하고요.
500개면 솔직히 파인튜닝하기엔 부족하네요. 보통 의미 있는 효과를 보려면 최소 1000개 이상은 있어야 하더라고요. 그 정도 데이터면 오버피팅 위험도 크고요.
차라리 지금은 프롬프트 엔지니어링과 RAG 조합이 훨씬 효율적일 거 같아요. 프롬프트 잘 다듬고 도메인 문서들을 벡터DB에 넣어서 검색하게 하면 웬만한 챗봇 수준은 충분히 나옵니다. 데이터가 늘어나면 그때 파인튜닝을 고려해도 늦지 않을 거 같은데요.
차라리 지금은 프롬프트 엔지니어링과 RAG 조합이 훨씬 효율적일 거 같아요. 프롬프트 잘 다듬고 도메인 문서들을 벡터DB에 넣어서 검색하게 하면 웬만한 챗봇 수준은 충분히 나옵니다. 데이터가 늘어나면 그때 파인튜닝을 고려해도 늦지 않을 거 같은데요.
댓글을 작성하려면 로그인이 필요합니다.