요즘 자사 데이터로 LLM을 파인튜닝해보고 있는데, 입력 텍스트가 모델의 컨텍스트 윈도우를 자주 초과하거든요. 지금은 그냥 긴 문서를 자르고 있는데 이게 맞는 건지 확신이 안 서요.
혹시 이런 상황에서 쓰는 best practice가 있을까요? 슬라이딩 윈도우 방식으로 오버래핑하게 자르는 게 낫다는 얘기도 있고, 아니면 애초에 문서를 요약해서 주는 게 낫다는 의견도 있고... 실제로 어떤 방식이 효과가 더 좋은지 궁금합니다.
혹시 해보신 분 있으면 어떤 결과였는지 공유 부탁드려요.
추천 1 비추천 0