저도 비슷한 경험이 있는데, 결국 문서 타입에 따라 달라지더라고요. 기술 문서는 1024~2048 사이에서 오버랩 20% 정도 주는 게 실제로 성능이 좋았어요. 오버랩을 안 주면 청크 경계에서 중요한 정보가 잘려나갈 수 있거든요.
다만 가장 중요한 건 청킹 후에 실제로 retrieval 테스트를 해보는 거예요. 자신의 문서와 쿼리로 직접 평가하는 게 번지수 하는 것보다 훨씬 정확합니다. 저는 작은 문서 샘플로 여러 크기를 A/B 테스트해본 뒤 최종 설정을 결정했어요.
다만 가장 중요한 건 청킹 후에 실제로 retrieval 테스트를 해보는 거예요. 자신의 문서와 쿼리로 직접 평가하는 게 번지수 하는 것보다 훨씬 정확합니다. 저는 작은 문서 샘플로 여러 크기를 A/B 테스트해본 뒤 최종 설정을 결정했어요.