요즘 오픈소스 모델들을 자체 데이터로 파인튜닝하려고 계획 중인데, LoRA와 QLoRA 중에 뭘 선택해야 할지 고민이 많네요. 둘 다 파라미터 효율적이긴 한데 실무에서는 어떤 기준으로 결정하시는지 궁금합니다.
제 상황을 말씀드리면 현재 RTX 4090 한 장으로 작업하고 있고, 약 50GB 정도의 학습 데이터가 있습니다. Llama 2 7B나 Mistral 같은 모델을 대상으로 하려고 해요. 속도도 중요하지만 파인튜닝 품질도 확보해야 하는 상황이거든요.
찾아본 자료들보면 LoRA는 메모리 효율이 괜찮지만 QLoRA는 양자화를 추가로 해서 VRAM을 극적으로 줄인다고 하더라고요. 근데 양자화 과정에서 정보 손실이 생기는 건 아닌지 걱정되고, 실제로 프로덕션에서 파인튜닝된 모델의 성능 차이를 본 사람이 있으면 궁금합니다. 같은 데이터셋으로 둘 다 해본 경험이 있으면 공유해주세요.
그리고 또 하나 헷갈리는 게 LoRA의 rank 값 설정인데, 이거 어떻게 정하시나요. 논문이나 예제들 보면 16이나 32 정도로 설정하는데 더 큰 데이터셋이면 더 높게 가야 하나요. 너무 높으면 오버피팅 걱정도 되고요.