LLM 토큰 길이 제한 극복하는 방법들, 실무에서 어떻게 쓰세요?

최근에 긴 문서 처리하는 프로젝트를 진행 중인데 토큰 제한이 정말 병목이더라고요. 기본 4K, 8K 컨텍스트 윈도우는 이제 너무 부족한 것 같습니다. 특히 법률 문서나 긴 기술 문서 분석할 때 전체 맥락을 모델에 넣고 싶어도 못 하는 상황이 자주 생기거든요.

그래서 최근에 시도해본 방법들을 정리해봤는데, 먼저 가장 간단한 건 역시 문서를 청킹(chunking)해서 나눠서 처리하는 거네요. 임베딩으로 관련성 높은 부분만 추려서 프롬프트에 넣는 식인데, 이건 이미 많이들 하실 것 같습니다. 다만 이 방식은 문서 전체의 구조나 흐름이 손실될 수 있다는 게 단점이에요.

더 나은 방법으로 생각되는 건 계층적 요약(hierarchical summarization)입니다. 전체 문서를 먼저 섹션별로 요약하고, 그 요약들을 다시 요약하는 식으로 진행해서 최종적으로는 핵심 내용만 압축된 상태로 모델에 넣는 거죠. 이렇게 하면 토큰도 줄이고 핵심도 잘 살릴 수 있더라고요. Claude 3 같은 100K 토큰 모델들도 있지만 비용이 꽤 비싸거든요.

최근에 주목하는 건 모델 자체의 윈도우를 늘리는 것보다 사용자 의도를 먼저 파악하는 방식인데, 사용자 질의를 분석해서 필요한 정보만 먼저 뽑아내고 그걸 바탕으로 관련 문서를 찾아오는 방식이에요. RAG 기반이지만 좀 더 정교한 수준이라고 보면 됩니다. 저희 팀에서도 이 방식이 실제로 더 정확한 답변을 뽑아내는 것 같아요.

혹시 다른 분들은 이런 문제를 어떻게 풀고 계세요? 더 좋은 방법 있으면 공유 부탁드립니다.