저도 처음엔 text-embedding-3-small 썼는데 한국어는 확실히 아쉽더라고요. BM25와 벡터 검색 하이브리드가 차라리 나은 것 같아요. 실제로 둘 다 써보니 recall이 확실히 올라갔거든요.
프롬프트
RAG 시스템에서 임베딩 모델 선택하는 기준이 뭘까요?
요즘 RAG 파이프라인 구축하면서 임베딩 모델을 어떤 걸 써야 할지 고민이 생겼어요. 현재는 OpenAI의 text-embedding-3-small을 쓰고 있는데, 비용 때문에 오픈소스 모델로 바꿀까 생각 중입니다.
한국어 성능이 중요한데 BM25 같은 키워드 검색이랑 벡터 검색을 하이브리드로 쓰는 게 나을까요? 아니면 그냥 좋은 임베딩 모델 하나로 통일하는 게 낫나요. 사람마다 말이 좀 달라서요.
혹시 실제로 RAG 구축해보신 분들은 임베딩 모델 선택할 때 성능(recall) 말고 다른 고려사항도 있으셨나요? 레이턴시나 비용 이런 것들 말이에요.
한국어 성능이 중요한데 BM25 같은 키워드 검색이랑 벡터 검색을 하이브리드로 쓰는 게 나을까요? 아니면 그냥 좋은 임베딩 모델 하나로 통일하는 게 낫나요. 사람마다 말이 좀 달라서요.
혹시 실제로 RAG 구축해보신 분들은 임베딩 모델 선택할 때 성능(recall) 말고 다른 고려사항도 있으셨나요? 레이턴시나 비용 이런 것들 말이에요.
추천 9 비추천 0
- 이전글로컬 LLM으로 private하게 문서 분석하려는데 실용성이 어떻게 되나요?26.07.03
- 다음글LLM 파인튜닝할 때 토큰 길이 제한 어떻게 처리하세요?26.07.01