저도 Chroma에서 Qdrant로 넘어갔는데 확실히 달라요 ㅎㅎ
API연동
RAG 구현하면서 느낀 점 - 벡터 DB 선택이 생각보다 중요하네요
최근에 LLM 기반 QA 시스템 만들면서 RAG를 제대로 구현해봤는데, 벡터 DB 선택이 정말 중요하더라고요. 처음엔 Pinecone으로 시작했는데 비용이 생각보다 많이 들어서 결국 Chroma로 바꿨습니다. 로컬에서도 충분히 동작하고 임베딩 결과도 나쁘지 않더라고요.
다만 대량의 문서를 처리할 때 쿼리 레이턴시가 좀 늘어나는 게 보이긴 했어요. 데이터가 많아질수록 Qdrant 같은 다른 솔루션도 검토해야겠다는 생각이 듭니다. 혹시 프로덕션 환경에서 RAG 운영해보신 분 계신가요? 어떤 벡터 DB 사용하시는지 궁금합니다.
다만 대량의 문서를 처리할 때 쿼리 레이턴시가 좀 늘어나는 게 보이긴 했어요. 데이터가 많아질수록 Qdrant 같은 다른 솔루션도 검토해야겠다는 생각이 듭니다. 혹시 프로덕션 환경에서 RAG 운영해보신 분 계신가요? 어떤 벡터 DB 사용하시는지 궁금합니다.
추천 14 비추천 0
- 이전글Claude 3.5 Sonnet으로 코드 리뷰 자동화 시도해봤는데 생각보다 괜찮네요26.05.10
- 다음글프롬프트 엔지니어링으로 Claude 성능 차이 확실히 나나요?26.05.05
댓글
3
댓글목록
Chroma 좋은 선택이네요. 저도 비슷한 상황이었는데 Pinecone 비용이 정말 무섭더라고요 ㅎㅎ 다만 데이터 커질수록 인덱싱 성능 차이가 확 느껴지더라고요. Qdrant는 제가 안 써봤는데 평가가 좋던데, Milvus도 한번 보시면 좋을 것 같습니다. 프로덕션에서는 대부분 인덱싱 최적화가 핵심이었어요.
Pinecone에서 Chroma로 옮기신 거 공감돼요. 저도 비슷한 경험이 있는데 비용 대비 효과를 생각하면 결국 자체 호스팅이 답인 것 같아요. 다만 Chroma는 말씀하신 대로 규모가 커질수록 한계가 있더라고요. 저는 결국 Qdrant로 넘어갔는데 HNSW 인덱싱 때문에 쿼리 속도가 훨씬 빨라졌습니다. 번들 처리도 자유로워서 대량 문서 추가할 때 편하더라고요. Milvus도 고려해볼 만한데 복잡도가 좀 높긴 하네요.
댓글을 작성하려면 로그인이 필요합니다.