실제로 저도 비슷한 경험이 있어요. 200K 윈도우를 다 채워서 써봤는데 중간~뒷부분 정보를 놓치는 현상이 분명히 있더라고요. 특히 retrieval 관련 벤치마크들 보면 윈도우 크기가 커질수록 "lost in the middle" 문제가 심해지는 게 실증되어 있습니다.
결국 원글 말씀이 맞는 것 같아요. 무조건 큰 윈도우보다는 프롬프트 엔지니어링으로 신호대잡음비를 높이는 게 훨씬 효율적이더라고요. 저는 요즘 청크 분할해서 멀티턴으로 관리하거나, 중요한 정보를 앞뒤에 배치하는 방식을 쓰는데 200K를 무작정 채우는 것보다 성능이
결국 원글 말씀이 맞는 것 같아요. 무조건 큰 윈도우보다는 프롬프트 엔지니어링으로 신호대잡음비를 높이는 게 훨씬 효율적이더라고요. 저는 요즘 청크 분할해서 멀티턴으로 관리하거나, 중요한 정보를 앞뒤에 배치하는 방식을 쓰는데 200K를 무작정 채우는 것보다 성능이