의미론적 청킹 비용 정말 크더라고요 ㅠㅠ
활용법
RAG 시스템 구축 중에 청킹 전략 때문에 헷갈려요
요즘 LLM에 자사 데이터를 연결하려고 RAG 시스템을 만들고 있는데, 문서 청킹 부분에서 자꾸 막히네요. 고정 크기로 청킹하니까 문맥이 끊어지는 경우가 많고, 겹치게 하니까 중복된 검색 결과가 너무 많이 나오더라고요.
지금은 의미론적 청킹(semantic chunking)을 시도해보고 있는데, 계산 비용이 생각보다 크다는 게 문제입니다. 우리 팀이 작아서 비용 효율을 신경 써야 하는데 좋은 방법이 있을까요?
혹시 프로덕션 환경에서 청킹 쓰고 계신 분 계신가요? 어떤 방식으로 하고 있는지, 그리고 임베딩 모델은 뭘 쓰시는지 궁금합니다.
지금은 의미론적 청킹(semantic chunking)을 시도해보고 있는데, 계산 비용이 생각보다 크다는 게 문제입니다. 우리 팀이 작아서 비용 효율을 신경 써야 하는데 좋은 방법이 있을까요?
혹시 프로덕션 환경에서 청킹 쓰고 계신 분 계신가요? 어떤 방식으로 하고 있는지, 그리고 임베딩 모델은 뭘 쓰시는지 궁금합니다.
추천 6 비추천 0
- 이전글LLM 토큰 길이 제한 때문에 답답한데 이게 기술적 한계인가요26.07.19
- 다음글요즘 로컬 LLM 돌려보신 분 계신가요?26.07.17