저도 비슷한 경험 있는데, 긴 컨텍스트가 실제로 필요한 경우는 생각보다 제한적이더라고요. 코드 분석할 때 전체 파일을 한 번에 넣는 건 좋지만, 그 이상으로 늘리면 오히려 모델이 중요한 부분을 놓치는 경향이 있어요.
제 경험상 실제로 길게 쓰는 경우는 대량의 문서를 검색하는 RAG 방식이거나, 매우 긴 기술 스펙을 한 번에 처리할 때 정도더라고요. 일반적인 업무에선 잘 정제된 5-10K 토큰 정도면 충분한 것 같습니다. 마케팅 포인트 맞을 가능성도 있네요.
제 경험상 실제로 길게 쓰는 경우는 대량의 문서를 검색하는 RAG 방식이거나, 매우 긴 기술 스펙을 한 번에 처리할 때 정도더라고요. 일반적인 업무에선 잘 정제된 5-10K 토큰 정도면 충분한 것 같습니다. 마케팅 포인트 맞을 가능성도 있네요.