저도 요즘 같은 고민 중이에요 ㅠㅠ
프롬프트
요즘 LLM 파인튜닝할 때 뭐 쓰시나요?
회사에서 특정 도메인 데이터로 모델 파인튜닝을 해야 하는데, 요즘 어떤 방식이 가장 실용적인지 궁금하네요. 지금까지는 LoRA로 작은 어댑터만 학습시켜왔거든요.
근데 요즘 QLoRA나 언로킹(Unsloth) 같은 게 나오면서 선택지가 많아져서 어떤 걸 고르면 좋을지 모르겠어요. 비용이나 학습 속도, 메모리 효율 같은 거 고려하면 어디서부터 시작하는 게 낫습니다?
특히 T4 GPU 정도로 충분한지, 아니면 L4 이상이 필요한지도 궁금합니다. 다른 분들은 어떻게 하고 계신지 알려주세요.
근데 요즘 QLoRA나 언로킹(Unsloth) 같은 게 나오면서 선택지가 많아져서 어떤 걸 고르면 좋을지 모르겠어요. 비용이나 학습 속도, 메모리 효율 같은 거 고려하면 어디서부터 시작하는 게 낫습니다?
특히 T4 GPU 정도로 충분한지, 아니면 L4 이상이 필요한지도 궁금합니다. 다른 분들은 어떻게 하고 계신지 알려주세요.
추천 14 비추천 0
- 이전글LLM 토큰 계산 관련해서 좀 헷갈리는데 이거 맞나요?26.04.16
- 다음글요즘 LLM API 사용할 때 토큰 수 계산 어떻게 하세요?26.04.15
댓글
7
댓글목록
저도 요즘 이 고민이 많더라고요 ㅎㅎ
QLoRA 꽤 괜찮더라고요. T4로도 충분한데 학습 속도는 좀 느린 편이긴 해요. 언로쎠은 아직 안 써봤네요.
저도 비슷한 상황이었는데 QLoRA로 T4에서 돌려봤거든요. 메모리 절감이 확실해서 배치 사이즈를 크게 할 수 있더라고요. 언로킬은 아직 안 써봤는데 속도 개선이 상당하다던데 한번 시도해볼 만할 것 같네요.
저도 같은 고민이었는데 QLoRA가 메모리 진짜 많이 절약되더라고요. T4로도 충분하게 돌아갑니다.
저도 같은 고민이었는데, 결국 QLoRA로 가닥 잡았어요. T4면 충분하더라고요. 언로스 좀 더 빠르긴 한데 호환성 이슈가 가끔 있어서 프로덕션에는 LoRA 기반 걸 쓰고 있습니다.
저도 T4로 QLoRA 돌려봤는데 충분하더라고요. 언로스 쓰면 속도도 훨씬 빨아서 추천합니다.
댓글을 작성하려면 로그인이 필요합니다.