LLM Fine-tuning할 때 LoRA vs Full parameter, 실제로 성능 차이 많이 나나요?

저도 비슷한 상황에서 LoRA로 진행했는데, r=64~128 정도면 도메인 특수 용어 학습하기에 충분하더라고요. 다만 알파는 rank의 2배 정도로 설정하는 게 일반적이긴 한데, 실제로는 학습률이랑 에포크 튜닝이 더 중요했어요.
특수 용어가 많은 도메인이면 풀 파라미터보다는 LoRA를 작은 학습률로 더 오래 훈련하는 게 나을 수도 있습니다. 풀 파라미터는 메모리도 메모리지만 오버피팅 위험이 더 크거든요. A100 2장이면 배치 사이즈 조정해서 충분히 가능할 거 같은데, 일단 LoRA로 시작해보고 성능이 안 나오면 그때 생각해도 늦지