최근에 제한된 리소스로 LLM 파인튜닝을 해야 하는데 계속 QLoRA만 쓰다 보니까 다른 방법들이 궁금하네요. LoRA, DoRA, 아니면 adapter 기반 방법들까지 여러 가지가 있다는 건 아는데 실제로 프로덕션 환경에서 뭘 쓰시는지 궁금합니다.
특히 inference 속도나 모델 크기 측면에서 트레이드오프가 어떻게 다른지, 그리고 각 방법마다 수렴 속도나 최종 성능에 큰 차이가 있는지 궁금해요. QLoRA가 가장 메모리 효율적이긴 한데 혹시 더 나은 대안이 있으면 좋을 것 같아요.
현업에서 써보신 경험 있으신 분들 의견 부탁드립니다.
추천 5 비추천 0