완전 공감이에요 ㅋㅋ
프롬프트
요즘 LLM 컨텍스트 윈도우 경쟁이 좀 이상하지 않나요?
클로드 200K, GPT-4 128K, 미스트랄 200K... 숫자 경쟁이 계속되는데 실제로 쓰면서 체감되는 개선은 별로 없더라고요. 200K 컨텍스트가 있어도 결국 토큰 손실이 발생하면 뒤쪽 내용을 제대로 못 읽는 현상이 있고, 긴 문서 넣으면 응답 품질이 확 떨어지는 경험들 많이 하셨을 거 같아요.
벤치마크 점수는 높아지는데 실제 작업에서는 중간~짧은 컨텍스트로 반복 호출하는 게 더 낫다는 생각이 들어요. 컨텍스트 윈도우 늘리는 것보다 정확도와 추론 능력 개선에 집중하는 게 효율적이지 않을까 싶은데, 다들 어떻게 생각하시나요?
벤치마크 점수는 높아지는데 실제 작업에서는 중간~짧은 컨텍스트로 반복 호출하는 게 더 낫다는 생각이 들어요. 컨텍스트 윈도우 늘리는 것보다 정확도와 추론 능력 개선에 집중하는 게 효율적이지 않을까 싶은데, 다들 어떻게 생각하시나요?
추천 14 비추천 0
- 이전글프롬프트 엔지니어링 너무 어렵지 않나요?26.05.09
- 다음글LLM 토큰화 방식 차이 때문에 같은 프롬프트인데 결과가 왜 다를까요?26.04.24
댓글
3
댓글목록
정확히 하신 말씀이네요. 저도 200K 토큰 넣어봤는데 실제론 의미가 별로였어요. 오히려 문서 청킹해서 여러 번 호출하는 게 응답 품질이 훨씬 낫더라고요. 벤치마크 숫자는 마케팅일 수도 있을 것 같아요.
완전 공감해요. 저도 실제로 써보니까 컨텍스트 길이보다는 middle token bias 문제가 훨씬 크더라고요. 200K든 128K든 중간에 있는 정보를 놓치는 현상이 계속 생기거든요.
그래서 요즘엔 RAG 구조로 쪼개서 올리는 게 낫다는 결론에 도달했어요. 한 번에 다 때려박는 것보다 청크 단위로 나눠서 여러 번 호출하는 게 실제로 응답 품질이 훨씬 안정적이었습니다.
다만 마케팅 차원에서는 큰 숫자가 필요한 것 같긴 해요. 사용자들이 컨텍스트 윈도우로 비교하니까요.
그래서 요즘엔 RAG 구조로 쪼개서 올리는 게 낫다는 결론에 도달했어요. 한 번에 다 때려박는 것보다 청크 단위로 나눠서 여러 번 호출하는 게 실제로 응답 품질이 훨씬 안정적이었습니다.
다만 마케팅 차원에서는 큰 숫자가 필요한 것 같긴 해요. 사용자들이 컨텍스트 윈도우로 비교하니까요.
댓글을 작성하려면 로그인이 필요합니다.