요즘 LLM에 자료 연결하는 RAG 프로젝트를 진행 중인데 chunk 크기 설정이 자꾸 애매하더라고요. 지금은 그냥 1000 토큰 기준으로 나누고 있는데 이게 최적인지 확신이 안 서요.
chunk가 너무 크면 검색은 잘 되는데 관련 없는 정보까지 섞여서 토큰 낭비가 되고, 너무 작으면 맥락이 끊겨서 답변 품질이 떨어지는 것 같습니다. 특히 의료 문서처럼 구조가 있는 자료는 더 신경써야 할 것 같은데...
혹시 실제 프로젝트에서 적용하고 계신 방법이 있으면 얘기해주실 수 있을까요? overlap 설정이나 다른 전략까지 궁금합니다.
추천 3 비추천 0