최근에 Claude 200K, GPT-4 Turbo 128K 같은 긴 컨텍스트 윈도우 모델들이 나오면서 그게 얼마나 실제로 도움이 되는지 궁금해서 테스트해봤거든요. 결론부터 말하면 길이만으로는 부족하더라고요. 같은 프롬프트를 4K 모델에 던져도 결과는 크게 차이 안 났어요.
다만 RAG 같은 걸 안 하고 바로 긴 문서를 넘길 때는 의외로 쓸 만했습니다. 특히 코드 리뷰할 때 전체 파일을 한 번에 던질 수 있으니까 맥락 손실이 확실히 줄어들어요. 근데 비용을 보면 토큰당 가격이 좀 비싼 편이라 프로덕션에서 쓰려면 고민이 되네요.
혹시 실무에서 장문 처리 모델 쓰고 있으신 분 계시면 어떤 시나리오에서 진짜 체감되는지 궁금해요. 단순히 긴 컨텍스트보다 품질이 더 중요한 건 아닐까 싶기도 하고요.