최근에 회사에서 자체 데이터로 AI 모델을 커스터마이징하려고 하는데, 파인튜닝을 할지 RAG를 할지 헷갈리더라고요. 둘 다 해본 사람들 의견을 듣고 싶어서 올립니다.
일단 제가 이해한 게 맞는지 확인해주면 좋겠어요. 파인튜닝은 모델의 가중치 자체를 우리 데이터로 학습시키는 거고, RAG는 모델은 그대로 두고 필요한 정보를 외부에서 검색해서 컨텍스트로 제공하는 방식이라고 알고 있는데 맞나요?
제 상황은 이렇습니다. 회사에 마케팅 문서, 제품 설명서, 기술 가이드 같은 내부 자료가 꽤 많거든요. 이걸로 챗봇을 만들고 싶은데, 데이터가 자주 업데이트돼요. 거기다 파인튜닝하려면 GPU 비용도 만만치 않다고 들었고요.
요즘 추세는 RAG로 가는 게 맞는 것 같아요. 유지보수도 쉽고 데이터 업데이트도 간단하잖아요. 근데 정말 파인튜닝 없이도 충분한지 좀 불안하네요. 혹시 RAG와 파인튜닝을 섞어 쓰는 방법도 있다고 들었는데, 실제로 해보신 분 계신가요?
특히 궁금한 게, RAG로 유명한 Langchain이나 LlamaIndex 같은 프레임워크 써본 분들이 있으면 어떤 느낌인지 알고 싶어요. 프로덕션 환경에서 안정적이었나요? 응답 시간은 어느 정도 나왔나요?
참고로 저희는 Claude나 GPT-4 같은 API를 쓸 생각인데, 만약 가성비 중심이라면 오픈소스 모델 추천해주셔도 좋습니다.
추천 1