최근에 작은 규모 프로젝트에서 LLM을 우리 도메인에 맞게 튜닝해야 하는데, LoRA로 할지 전체 파인튜닝으로 할지 고민이 많네요. 지금까지는 LoRA만 써왔는데 성능 차이가 실제로 얼마나 나는지 궁금합니다.
메모리와 비용 측면에선 LoRA가 확실히 유리한 건 알겠는데, 정확도나 도메인 특화 측면에서는 full fine-tuning이 나을 것 같거든요. 혹시 둘 다 실제로 적용해본 경험 있으신 분 계신가요?
특히 의료나 금융처럼 정확도가 중요한 분야에서는 어떻게 선택하시는지 궁금합니다. 참고할 만한 레퍼런스나 경험담이 있으면 공유해주세요.
추천 3 비추천 0