요즘 RAG 파이프라인 구축하면서 임베딩 모델을 어떤 걸 써야 할지 고민이 생겼어요. 현재는 OpenAI의 text-embedding-3-small을 쓰고 있는데, 비용 때문에 오픈소스 모델로 바꿀까 생각 중입니다.
한국어 성능이 중요한데 BM25 같은 키워드 검색이랑 벡터 검색을 하이브리드로 쓰는 게 나을까요? 아니면 그냥 좋은 임베딩 모델 하나로 통일하는 게 낫나요. 사람마다 말이 좀 달라서요.
혹시 실제로 RAG 구축해보신 분들은 임베딩 모델 선택할 때 성능(recall) 말고 다른 고려사항도 있으셨나요? 레이턴시나 비용 이런 것들 말이에요.
추천 1 비추천 0