요즘 회사 프로젝트에서 우리 도메인에 맞게 AI 모델을 커스터마이징해야 하는데 방향을 못 정하고 있거든요. LLM을 직접 파인튜닝할지, 아니면 프롬프트 엔지니어링으로 버틸지 고민이 많아요.
현재 상황은 이래요. 우리가 금융 리포트 요약 자동화를 하는 건데 GPT-4나 Claude 같은 모델들이 기본적으로 잘하긴 하는데, 자꾸 우리 회사 용어나 포맷을 놓치는 거 있잖아요. 프롬프트 튜닝으로 어느 정도까지는 개선이 되더라고요. 근데 정말 그게 한계인지, 아니면 더 넣을 수 있는 게 있는지 모르겠어요.
파인튜닝을 하려면 학습 데이터도 꽤 많이 필요하고 비용도 장난 아니더라고요. 우리 데이터셋은 지금 2000개 정도밖에 없거든요. 그 정도면 파인튜닝할 가치가 있을까요? 아니면 오버피팅만 될까봐 걱정되고요.
온라인에서 본 글들을 보면 선택지가 애매해요. 어떤 분들은 작은 데이터셋도 파인튜닝이 효과 있다고 하고, 어떤 분들은 프롬프트가 나을 수도 있다고 하고. RAG 방식도 있다던데 이것도 헷갈리네요.
혹시 비슷한 경험 있으신 분? 2000개 정도 데이터셋으로 파인튜닝 시도해보신 분 있나요? 실제로 효과 있었는지, 비용은 어느 정도 나왔는지 궁금해요. 아니면 프롬프트 엔지니어링으로 충분했던 케이스도 알려주시면 도움이 될 것 같습니다.