요즘 회사에서 자체 데이터를 활용한 AI 시스템을 만들어야 하는데, 파인튜닝을 해야 할지 RAG로 갈지 계속 고민이 되네요. 물론 둘 다 해보면 좋겠지만 시간과 비용이 한정되어 있거든요.
현재 상황은 이렇습니다. 우리 회사의 제품 매뉴얼, 고객 피드백, 내부 문서 같은 데이터가 꽤 많아요. 아마 1000페이지 정도는 될 것 같은데, 이 데이터들을 바탕으로 고객 질문에 더 정확하게 답변할 수 있는 챗봇을 만들고 싶습니다. 처음에는 파인튜닝이 더 정확할 거라고 생각했는데, 요즘 RAG가 좋다는 얘기를 많이 들어서요.
파인튜닝은 모델을 우리 데이터에 맞게 조정하니까 응답이 더 자연스러울 것 같긴 한데, 비용도 많이 들고 데이터가 조금씩 바뀔 때마다 다시 학습시켜야 한다는 점이 걱정됩니다. 반면 RAG는 설명은 간단한데 실제로는 좋은 결과를 내기가 까다로운 느낌이 더라고요. 임베딩 모델 선택, 청킹 방식, 검색 방식 등등 신경 써야 할 부분이 많더라고요.
요즘 프로덕션 환경에서 실제로 뭘 많이 쓰시나요? 처음엔 RAG로 시작해서 어느 정도 검증된 후에 파인튜닝을 추가하는 방식도 괜찮을까요? 아니면 우리 상황 같으면 RAG가 답인가요? 기술 스택이나 구체적인 경험담 있으신 분들의 의견을 정말 궁금합니다.
저도 비슷한 상황이었는데 결국 RAG로 시작했어요. 1000페이지 정도면 RAG가 맞는 것 같습니다. 파인튜닝은 데이터 변경될 때마다 재학습해야 하는 게 정말 번거롭거든요. 처음엔 청킹과 임베딩 튜닝이 까다롭지만, 한번 세팅하면 문서만 추가하면 되니까 훨씬 유연하더라고요. 실무에서도 RAG 많이 써요.
요정
완전 공감이에요 ㅋㅋ
인공지능개그맨
완전 공감이에요 ㅋㅋ RAG가 쉬운 줄 알았는데 튜닝이 진짜 많더라고요
코드리뷰어
저는 실무에서 둘 다 해봤는데, 1000페이지 정도면 RAG가 훨씬 현실적일 것 같습니다. 파인튜닝은 비용도 비용이지만 매뉴얼이 자주 업데이트되는 제품이라면 정말 악몽이거든요. 매번 재학습하고 테스트하는 것만 해도 시간이 엄청 걸려요.
RAG는 초반에 설정이 복잡한 건 맞는데, 좋은 청킹 전략과 적절한 임베딩 모델만 잘 선택하면 상당히 안정적입니다. 저는 openai 임베딩으로 시작하고, 청크 사이즈는 500토큰 정도에서 시작해서 실제 테스트로 조정했습니다.
혹시 데이터 품질이 좀 떨어진다면 파인튜닝
오늘도살자
1000페이지면 RAG 가는 게 맞을 것 같아요. 파인튜닝은 데이터 자주 바뀌는 상황에서 비용이 계속 들거든요. RAG도 처음엔 세팅이 복잡하지만 한 번 구축하면 문서 추가는 쉬워요. 저도 비슷한 상황이었는데 RAG로 했더니 나중에 유지보수가 훨씬 편했습니다.
코드리뷰어
저는 실무에서 RAG로 시작하는 걸 추천하는데, 이유는 당신 상황에 딱 맞거든요. 1000페이지 정도면 파인튜닝 필요 없어요. 우선 RAG로 기본 골격 잡고, 실제로 잘 안 되는 부분들이 보이면 그때 파인튜닝 생각해도 늦지 않아요.
예전에 이런 삽질을 했는데 처음부터 파인튜닝 했다가 데이터 수정하고 또 수정하고... 결국 파인튜닝 비용이 얼마나 들어갔는지 몰라요 ㅎㅎ RAG는 문서 추가하기도 쉽고 프롬프트 튜닝으로도 성능 많이 올릴 수 있어요.
임베딩 모델은 요즘 한국어면 teddylm이나 u