요즘 회사에서 자체 도메인 데이터로 AI 기반 검색 시스템을 만들어야 하는데, 팀 내에서 의견이 갈려서 고민이 많네요. 일부는 GPT-4를 파인튜닝해야 한다고 주장하고, 다른 팀원들은 RAG가 더 현실적이라고 하거든요.
우리가 가진 데이터는 회사 내부 문서, 고객 피드백, 기술 스펙 같은 것들이 대략 500만 개 토큰 규모예요. 그리 큰 규모는 아닌데, 이 정도면 파인튜닝 효과가 있을까요? 일반적으로 파인튜닝은 최소 몇백만 토큰은 필요하다고 들었는데 정확하지 않아서요.
가격 측면에서 보면 RAG로 가면 매번 API 호출할 때마다 비용이 들고, 파인튜닝은 초기 투자는 크지만 이후 비용이 낮다고 알고 있어요. 근데 우리 트래픽이 예측 불가능한 상황이라 비용 추정이 쉽지 않습니다. 혹시 두 가지를 혼합해서 쓰는 경우도 있나요?
또 하나 걱정되는 게 파인튜닝하면 모델 업데이트가 필요할 때 다시 파인튜닝을 해야 하는데, RAG는 벡터 DB만 업데이트하면 된다는 점이에요. 우리 데이터가 자주 변하는 특성상 유지보수 비용도 고려해야 할 것 같은데, 이런 부분까지 고려했을 때 어떤 걸 선택해야 할까요?
혹시 비슷한 규모의 데이터로 실제 프로젝트 진행해보신 분 있으면 경험담 들려주세요. 뭐가 더 잘됐는지, 후회하는 부분이 뭔지 궁금합니다.