저도 작년에 Llama 2 LoRA로 해봤는데 A100 한 장이면 충분하더라고요. 데이터셋 준비가 진짜 핵심이에요. 최소 수백 개는 필요한데 품질이 생각보다 중요합니다. Hugging Face의 peft 라이브러리 추천하고, LoRA는 실제로 효율이 정말 좋아요. 풀 파인튜닝 대비 메모리 90% 절감되거든요. 비용은 대여로 두 달에 40만 원 정도 들었습니다.
활용법
LLM 파인튜닝 해본 사람 있나요?
요즘 오픈소스 모델들 성능이 올라가니까 직접 파인튜닝해서 써보고 싶은데 진입장벽이 좀 있더라고요. 일단 GPU 문제도 있고, 데이터셋 준비하는 것도 생각보다 복잡하고요.
혹시 누구는 개인 프로젝트로 이미 해본 경험이 있으신가요? 비용 자체는 어느 정도 들었는지, 그리고 처음부터 시작하기에 추천하는 모델이나 프레임워크가 있으신지 궁금합니다. 요즘 LoRA가 효율적이라고 들었는데 실제로 그런지도 모르겠네요.
따끈따끈한 후기나 팁 있으면 공유 부탁드려요.
혹시 누구는 개인 프로젝트로 이미 해본 경험이 있으신가요? 비용 자체는 어느 정도 들었는지, 그리고 처음부터 시작하기에 추천하는 모델이나 프레임워크가 있으신지 궁금합니다. 요즘 LoRA가 효율적이라고 들었는데 실제로 그런지도 모르겠네요.
따끈따끈한 후기나 팁 있으면 공유 부탁드려요.
추천 11 비추천 0
- 이전글Transformer 모델의 positional encoding 방식 바꿔도 괜찮나요?26.06.09
- 다음글LLM 파인튜닝할 때 LoRA vs 풀 파인튜닝, 실제로 뭐가 다른가요?26.06.06