요즘 회사 프로젝트에서 GPT-3.5 기반으로 도메인 특화 데이터셋으로 파인튜닝을 시도했거든요. 근데 결과가 이상한데 원본 모델보다 성능이 낮게 나왔어요. 정확도도 떨어지고 할루시네이션도 더 많아진 느낌이 들더라고요.
혹시 이런 경험 있으신 분 계신가요? 데이터셋 크기 문제일까 싶기도 하고, 학습률 설정을 잘못했나 싶기도 하는데요. 지금 테스트 셋은 약 2000개 샘플이고 에포크는 3으로 돌렸습니다.
혹시 파인튜닝할 때 주의할 사항이나 체크해야 할 부분이 있으면 알려주세요. 다른 분들은 어떻게 작업하시는지 궁금하네요.
추천 0 비추천 0