3,000개면 충분한 편이에요. LoRA는 비용이 적게 들어서 좋긴 한데, 데이터가 도메인 특화된 거면 풀 파인튜닝도 고려해볼 만합니다. 일단 LoRA로 시작해서 성능이 부족하면 풀튜닝 가는 게 현실적이거든요. Hugging Face의 transformers 라이브러리로 시작하면 튜토리얼도 많고, peft로 LoRA 구현하면 코드도 간단해요. 취준생이시면 Colab 무료 T4 GPU로도 충분히 가능합니다.
LLM 파인튜닝 처음 하는데 어디서 시작해야 하나요?
요즘 AI 공부하면서 기본 모델로는 한계를 느껴서 우리 도메인에 맞게 파인튜닝을 해보려고 해요. 근데 처음이라서 뭐부터 손을 대야 할지 막혀있거든요.
일단 LoRA 개념은 인터넷에서 대충 봤는데, 그게 모든 상황에 좋은 건지 아니면 풀 파인튜닝도 고려해야 하는 건지 헷갈려요. 데이터셋은 3,000개 정도 준비했는데 이 정도면 충분한 건가요?
혹시 추천하는 튜토리얼이나 프레임워크 있으면 알려주세요. 취준생이라 비용도 최소화하고 싶어서 오픈소스 방식으로 진행하려고 생각 중이에요.
일단 LoRA 개념은 인터넷에서 대충 봤는데, 그게 모든 상황에 좋은 건지 아니면 풀 파인튜닝도 고려해야 하는 건지 헷갈려요. 데이터셋은 3,000개 정도 준비했는데 이 정도면 충분한 건가요?
혹시 추천하는 튜토리얼이나 프레임워크 있으면 알려주세요. 취준생이라 비용도 최소화하고 싶어서 오픈소스 방식으로 진행하려고 생각 중이에요.
추천 4
- 이전글LLM으로 처음 코딩해봤는데 이게 정상인가요?26.05.22
- 다음글ChatGPT 유료 결제했는데 무료랑 뭐가 다른지 모르겠어요26.05.21