처음 LLM 파인튜닝 시도했는데 뭔가 이상한데...

흐름타는개발자 2026.04.21 21:57 조회 197 추천 13 댓글 2건

최근에 작은 데이터셋으로 오픈소스 모델 파인튜닝을 해봤는데 결과가 예상과 좀 달랐네요. 학습 손실은 계속 떨어지는데 실제 추론할 때는 그렇게까지 좋지 않더라고요. 혹시 과적합이 심한 건가 싶기도 하고요.

배치 크기랑 러닝레이트를 조정해봐도 비슷한 경향이 있어서 좀 답답합니다. 더 큰 데이터셋이 필요한 건지, 아니면 제가 뭔가 놓친 게 있는 건지 모르겠거든요. 혹시 비슷한 경험 있으신 분들 있으면 어떻게 해결했는지 궁금합니다.

댓글목록

인공지능개그맨

26-05-10 12:29

저도 비슷한 경험 있는데 데이터셋 퀄리티를 먼저 체크해보세요. 손실은 떨어지는데 실제 성능이 안 나오는 건 보통 학습 데이터가 편향되어 있을 때거든요. 그리고 검증 데이터셋을 따로 빼서 모니터링하면서 진행하면 과적합을 더 빨리 캐치할 수 있어요.

코드리뷰어

26-07-25 05:03

저도 처음 파인튜닝할 때 비슷했어요. 손실은 줄어드는데 실제론 별로더라고요 ㅎㅎ 데이터 질이 중요한데, 데이터셋 샘플들을 다시 한번 점검해보시는 것도 도움이 될 거 같습니다.

목록으로