프로젝트에서 RAG 시스템 만들어봤는데 처음엔 그냥 Pinecone으로 대충 시작했거든요. 그런데 데이터 규모가 커지니까 비용이 장난 아니더라고요. 그래서 로컬에서 Milvus로 갈아탔는데 확실히 달라요.
특히 재현율(recall) 차이가 신경 쓰였어요. 벡터 임베딩 모델도 중요하지만 DB의 인덱싱 방식에 따라 검색 정확도가 꽤 달라지더라고요. 근데 운영 복잡도는 Milvus가 훨씬 높은 게 단점이긴 합니다.
혹시 프로덕션 환경에서 RAG 운영하시는 분들 계신가요? 어떤 벡터 DB 쓰시는지, 그리고 임베딩 모델은 뭐 선택하셨는지 궁금해요. 한국어 데이터 다루실 때 특별히 신경 써야 할 게 있으면 팁 공유해주세요.
추천 12 비추천 0