저도 처음엔 큰 윈도우가 다인 줄 알았는데 실무론 그게 아니더라고요. 문서 요약 정도면 8k로도 충분하고 오히려 응답 속도가 빨라서 좋아요. 비용도 확실히 차이 나니까 작은 프로젝트면 그정도가 베스트인 것 같습니다.
LLM 선택할 때 컨텍스트 윈도우 크기 얼마나 중요한가요?
최근에 GPT-4, Claude, Gemini 같은 모델들 살펴보다가 궁금한 게 생겼어요. 컨텍스트 윈도우 크기가 실제로 얼마나 중요한지 모르겠거든요. 당연히 크면 좋겠지만 처리 속도나 비용 차이도 크던데요.
저는 보통 문서 요약이나 간단한 분석하는 정도인데, 128k 같은 초대형 윈도우가 꼭 필요한지 싶어요. 작은 프로젝트면 4k나 8k 정도도 충분한 건 아닐까요?
혹시 실제로 써보신 분들 있으면 경험담 좀 나눠주시면 좋겠습니다. 특히 비용 대비 효과 측면에서요.
저는 보통 문서 요약이나 간단한 분석하는 정도인데, 128k 같은 초대형 윈도우가 꼭 필요한지 싶어요. 작은 프로젝트면 4k나 8k 정도도 충분한 건 아닐까요?
혹시 실제로 써보신 분들 있으면 경험담 좀 나눠주시면 좋겠습니다. 특히 비용 대비 효과 측면에서요.
추천 11
- 이전글ChatGPT vs Claude 뭐가 더 낫나요?26.05.29
- 다음글Claude 무료 버전으로 코딩 물어봤는데 생각보다 괜찮네요26.05.28