4090이면 풀로 해봐도 괜찮을 것 같은데요. 저도 궁금하네요 결과가 어떻게 나올지.
LLM 파인튜닝 할 때 LoRA 쓰는 게 맞나요?
요즘 개인 프로젝트로 LLM 파인튜닝을 시도하고 있는데, 풀 파인튜닝 대신 LoRA 쓰는 게 맞는지 헷갈려서요. 찾아보니까 LoRA가 메모리 효율적이고 빠르다고 하는데, 그럼 풀 파인튜닝은 언제 써야 하는 건지 모르겠습니다.
혹시 LoRA로도 충분한 성능이 나오나요? 아니면 데이터가 많으면 풀 파인튜닝을 해야 하는 건가요? 개인 GPU(RTX 4090)로 작업 중이라 메모리는 어느 정도 여유가 있는데, 성능 차이가 크면 풀로 해보고 싶기도 하고요.
혹시 경험이 있으신 분들 조언 부탁드립니다. 같은 데이터셋으로 둘 다 해본 후기 있으면 더 좋겠네요.
혹시 LoRA로도 충분한 성능이 나오나요? 아니면 데이터가 많으면 풀 파인튜닝을 해야 하는 건가요? 개인 GPU(RTX 4090)로 작업 중이라 메모리는 어느 정도 여유가 있는데, 성능 차이가 크면 풀로 해보고 싶기도 하고요.
혹시 경험이 있으신 분들 조언 부탁드립니다. 같은 데이터셋으로 둘 다 해본 후기 있으면 더 좋겠네요.
추천 0
- 이전글이미지 생성 AI 처음 써보는데 어떤 툴부터 시작할까요?26.07.17
- 다음글ChatGPT랑 Claude 뭐가 다른지 모르겠어요26.07.16