저도 지금 같은 고민이에요 ㅋㅋ chunk overlap도 함께 조정해야 하더라고요
파인튜닝
RAG 구현할 때 chunk size 어떻게 정하시나요?
요즘 RAG 시스템 만들고 있는데 chunk size 설정에서 계속 헷갈려요. 보통 256부터 1024까지 다양하게 쓰더라고요.
일단 작은 size(256)로 하면 의미 단위로 쪼개지긴 하는데 token 낭비가 심할 것 같고, 큰 size(1024)로 하면 컨텍스트 윈도우는 효율적이지만 관련 없는 정보까지 섞일 가능성이 높아 보여요. 지금 LLM은 Claude Opus 쓰고 있습니다.
혹시 실무에서는 어떤 기준으로 chunk size를 정하세요? 도메인별로 다르게 적용하시는 건가요?
일단 작은 size(256)로 하면 의미 단위로 쪼개지긴 하는데 token 낭비가 심할 것 같고, 큰 size(1024)로 하면 컨텍스트 윈도우는 효율적이지만 관련 없는 정보까지 섞일 가능성이 높아 보여요. 지금 LLM은 Claude Opus 쓰고 있습니다.
혹시 실무에서는 어떤 기준으로 chunk size를 정하세요? 도메인별로 다르게 적용하시는 건가요?
추천 10 비추천 0
- 이전글요즘 LLM 파인튜닝 비용이 진짜 미친 것 같은데26.06.24
- 다음글RAG 시스템에서 retrieval 성능 개선하려면 뭐가 제일 효과적이던가요?26.06.19