요즘 사내 프로젝트에서 특정 도메인 데이터로 LLM을 fine-tuning 해야 하는데, LoRA로 갈지 full parameter로 갈지 계속 고민이네요. 이론상으로는 LoRA가 메모리 효율이 좋고 빠르다는 건 알겠는데, 실제로 inference 성능에서는 어느 정도 차이가 나는지 궁금합니다.
GPU 메모리도 부족한 상황이라 LoRA가 현실적이긴 한데, 정확도를 조금 포기하는 게 값어치 있을지 모르겠어요. 혹시 비슷한 상황 겪으신 분 있으면 경험담 공유해주실 수 있을까요. 특히 프로덕션 환경에서 LoRA 썼을 때 실제 느낌이 어땠는지 궁금합니다.