요즘 LLM에 자사 데이터 먹이는 RAG 프로젝트를 진행 중인데, 청킹 전략에서 좀 막혔거든요. 고정 길이 청킹으로 하면 간단한데 의미 경계를 제대로 못 잡아서 답변이 자꾸 어색해요.
시맨틱 청킹이 나아 보이긴 한데 계산 비용이 좀 크더라고요. 특히 대량의 문서를 처리할 땐 임베딩 API 비용이 장난 아니네요. 지금은 적응적 청킹이랑 LLM 기반 청킹 사이에서 고민 중입니다.
혹시 프로덕션 환경에서 쓰고 계신 분 있으면 실제로 어떤 방식 쓰시는지, 그리고 비용 대비 효과가 어느 정도 되는지 궁금합니다. 팁이나 경험담 있으시면 공유 부탁드려요.
추천 7 비추천 0