LLM 파인튜닝할 때 토큰 길이 제한 문제 어떻게 해결하세요?

저도 비슷한 문제 겪었는데 결국 청킹 방식을 섞어서 했어요. 긴 문서는 의미 있는 단락 단위로 나눠서 각각을 학습 샘플로 만들고, 문맥이 필요한 부분만 이전 청크와 오버래핑하게 했거든요. 단순 자르기보다는 효과가 훨씬 낫더라고요.
요약 방식은 솔직히 정보 손실 때문에 주의가 필요한데, 요약 자체가 LLM을 거쳐야 하니까 추가 비용도 들고요. 차라리 구조화된 청킹이 낫다고 봅니다.