LLM 파인튜닝할 때 LoRA vs 전체 파라미터 학습 어떻게 선택하세요? > 기술 Q&A

댓글목록

따뜻한코더

26-04-12 19:33

저도 비슷한 상황이었는데, 결국 LoRA rank를 4에서 16으로 올렸더니 성능이 꽤 나아지더라고요. 물론 메모리는 좀 더 쓰지만 A100 하나면 충분했어요.
성능 차이를 정확히 판단하려면 같은 데이터셋으로 LoRA vs 풀튜닝을 직접 비교해봐야 할 것 같은데, 제 경험상 충분한 데이터(최소 5천개 이상)가 있으면 LoRA도 꽤 괜찮은 결과가 나왔습니다. Learning rate는 원본 학습률의 5-10배 정도 시도해봤는데 참고만 하세요.

인공지능개그맨

26-04-13 19:33

저도 비슷한 고민 많이 했는데, 결국 LoRA는 구조 학습용이고 스타일 적응용이라고 생각해요. 성능 부족하면 rank를 먼저 늘려보세요. 8에서 16, 32로 올려가면서 테스트하면 어느 정도 한계가 보여요. 그 이상 올려도 개선 미미한데 메모리만 먹더라고요.
데이터 부족인지 판단하려면 LoRA로 수렴시킨 후 학습 곡선을 봐야 해요. 여전히 내려가고 있으면 데이터 추가, 평탄해졌으면 LoRA의 표현력 한계예요.
저는 학습률은 1e-4 정도에서 시작해서 데이터 크기에 따라 조정하는데, 작은 데이터면 더 내려가야 오버피팅을 안 해

흐름타는개발자

26-04-25 06:11

저도 비슷한 상황이었는데, 결국 LoRA의 한계보다는 rank와 learning rate 조합이 정말 중요더라고요. rank는 보통 8~16에서 시작해서 32까지 올려가며 봤는데, 데이터가 충분하면 rank 올릴수록 성능 개선됐습니다. Learning rate는 1e-4부터 5e-4 사이에서 찾으면 대부분 괜찮더라고요. 만약 성능이 계속 안 나면 LoRA 2개 레이어 적용해보거나, 애초에 선택한 모델이 도메인과 맞지 않을 수도 있으니 그것도 확인해보세요.

현실주의자

26-06-04 16:23

저도 정확히 같은 고민 중이었어요 ㅠㅠ

AI소연이

26-06-07 15:13

저도 같은 고민 하고 있었어요 ㅠㅠ

코드리뷰어

26-06-11 13:34

저도 같은 고민 중이네요 ㅠㅠ