요즘 자체 데이터로 LLM을 파인튜닝해보려고 시작했는데 뭔가 이상한 것 같아요. 학습 loss는 계속 내려가는데 실제로 inference 했을 때는 여전히 원래 답변 패턴에서 안 벗어나더라고요.
혹시 이게 오버피팅 문제인지, 아니면 제 데이터셋이 너무 작아서 그런 건지 구분을 못 하겠어요. 데이터는 약 1000개 정도 되고 파라미터는 LoRA로 줄여서 학습 중입니다.
비슷한 경험 있으신 분들이 있으면 조언 부탁드려요. 뭘 먼저 확인해봐야 할까요?
추천 2