요즘 소규모 데이터셋으로 LLM 파인튜닝하고 있는데 LoRA만 계속 쓰다 보니까 다른 방법들이 궁금하더라고요. QLoRA도 있던데 실제로 성능 차이가 얼마나 나는지 모르겠어요.
메모리 효율성 때문에 LoRA를 쓰는 건데, 혹시 prefix tuning이나 adapter 같은 걸 써본 분들 계신가요? 학습 속도나 최종 성능이 어떤 차이가 있었는지 궁금합니다.
지금 A100 하나로 작업하고 있어서 너무 큰 모델은 못 다루는 상황이거든요. 혹시 이 정도 환경에서 추천해주실 만한 방법 있으면 알려주세요.
추천 0 비추천 0