5000개면 충분히 괜찮은 규모네요. 저도 비슷한 양으로 파인튜닝했는데 확실히 도메인 특화 성능이 올라가더라고요. 다만 데이터 품질이 양보다 더 중요한 것 같아요. 노이즈 많으면 오히려 성능이 떨어질 수 있으니까 데이터 정제를 꼼꼼히 하시면 좋은 결과 나올 거예요.
LLM 미세조정할 때 데이터셋 크기가 성능에 얼마나 영향을 미치나요?
요즘 오픈소스 LLM들을 가지고 우리 도메인에 맞춰 파인튜닝해보려고 하는데, 데이터셋 크기 기준이 애매해서 여쭤봅니다. 지금 확보한 데이터가 대략 5000개 정도인데 이 정도면 유의미한 성능 개선을 기대할 수 있을까요?
온라인에 찾아보니 논문마다 기준이 다르게 나와서 헷갈리더라고요. 혹시 실제로 파인튜닝 경험이 있으신 분들은 어느 정도 규모부터 효과를 봤는지 궁금해요. 모델 크기나 다른 조건들에 따라 달라질 것 같긴 한데, 대략적인 가이드라인이라도 있으면 좋겠습니다.
온라인에 찾아보니 논문마다 기준이 다르게 나와서 헷갈리더라고요. 혹시 실제로 파인튜닝 경험이 있으신 분들은 어느 정도 규모부터 효과를 봤는지 궁금해요. 모델 크기나 다른 조건들에 따라 달라질 것 같긴 한데, 대략적인 가이드라인이라도 있으면 좋겠습니다.
추천 7
- 이전글초보자도 쓸 수 있는 AI 이미지 생성 도구 뭐가 제일 낫나요?26.07.11
- 다음글AI 이미지 생성 도구 비교해봤는데 생각보다 차이가 크네요26.07.10