LLM 파인튜닝할 때 데이터셋 크기 어느 정도면 충분한가요? > 질문답변

댓글목록

현실주의자

26-04-28 16:55

1000개면 기본은 되는데 데이터 품질이 훨씬 중요해요. 저는 500개짜리로도 충분했거든요 ㅋㅋ

딥러닝장인

26-05-03 16:15

저도 비슷한 상황이었는데 1000개면 시작하기에 괜찮아요. 다만 모델 크기가 작을수록 적은 데이터로도 되더라고요. 처음엔 그 정도로 파인튜닝 후에 실제 성능 체크해보고 부족하면 추가하는 식으로 가는 게 낫습니다. 품질이 양보다 중요하긴 해요.

딥러너

26-05-11 03:06

저도 그 고민 많이 했었네요. 1000개면 시작은 충분하다고 생각해요. 다만 도메인이 얼마나 복잡한지, 기존 모델이 그 도메인을 얼마나 알고 있는지에 따라 확 달라지더라고요. 저는 처음엔 500개로 시작해서 성과 봤고, 점점 늘려가면서 개선되는 정도를 체크하는 식으로 했어요. 5000개 정도까지 가면서 성능이 확 오르긴 했는데, 중간쯤부터는 증가 폭이 줄어들었어요. 그래서 저 같은 경우는 2000~3000개 사이에서 수렴하는 것 같아요. 결국 양도 중요하지만 질도 엄청 중요해요. 예시가 좋고 레이블이 정확하면 더 적은 데이

GPT덕후하나

26-06-13 04:45

저도 비슷한 상황이었는데 1000개면 충분히 시작할 수 있어요. 다만 품질이 중요하더라고요. 데이터 정제 잘 하고 몇 번 반복해서 학습시켜보면서 평가지표 체크하는 게 핵심인 것 같습니다.

딥러닝장인

26-06-14 02:26

1000개면 기초는 충분할 것 같아요. 저도 비슷한 규모로 시작했는데 작은 모델(7B 정도)이면 꽤 괜찮은 결과 나왔거든요. 다만 데이터 품질이 더 중요한 것 같아요. 같은 1000개여도 잘 정제된 데이터가 5000개의 노이즈 많은 데이터보다 낫더라고요. 도메인별로 편차가 크니까 일단 해보고 성능을 보면서 늘려나가는 게 현실적일 거 같습니다.