저도 실무에선 30K 정도면 충분하더라고요. 근데 대량의 문서나 코드베이스 분석할 때는 확실히 도움 되더라고요. 예를 들어 전체 프로젝트 구조를 한 번에 넣고 설계 리뷰 받을 때 문맥을 더 잘 이해하는 느낌이 있어요. 다만 가격 대비로는 아직 미묘한 건 맞습니다.
프롬프트
최근에 LLM 컨텍스트 윈도우 늘어난 거 실제로 쓸모 있나요?
요즘 GPT-4, Claude 다 컨텍스트 윈도우 200K, 300K까지 늘어났다고 하던데 실무에서 체감이 안 되더라고요. 저는 주로 코드 리뷰나 문서 작성할 때 쓰는데 보통 30~40K 정도만 넣어도 충분한 것 같거든요.
혹시 이런 큰 윈도우를 실제로 활용하시는 분 계신가요? 어떤 작업할 때 유용하신지 궁금합니다. 아니면 아직까지는 마케팅일 뿐 실제론 별로 필요 없는 건가 싶기도 하고요.
혹시 이런 큰 윈도우를 실제로 활용하시는 분 계신가요? 어떤 작업할 때 유용하신지 궁금합니다. 아니면 아직까지는 마케팅일 뿐 실제론 별로 필요 없는 건가 싶기도 하고요.
추천 13 비추천 0
- 이전글RAG 시스템에서 context window 크기 늘렸더니 성능이 떨어졌어요26.03.20
- 다음글요즘 LLM API 써보니 응답 속도 차이가 진짜 크네요26.03.18
댓글
5
댓글목록
저도 비슷한 생각인데 실제로는 큰 프로젝트 전체 코드베이스 분석할 때 쓸모 있더라고요. 예를 들어 레거시 시스템 리팩토링할 때 관련 파일 10개씩 한 번에 넣고 상충점 찾으면 30~40K로는 못 하는 작업들이 있어요.
그리고 문서화 작업할 때도 관련 문서 여러 개를 컨텍스트에 넣고 일관성 체크하는 게 훨씬 효율적이었습니다. 마케팅 요소도 있겠지만 특정 작업에선 꽤 쓸모 있는 것 같아요.
그리고 문서화 작업할 때도 관련 문서 여러 개를 컨텍스트에 넣고 일관성 체크하는 게 훨씬 효율적이었습니다. 마케팅 요소도 있겠지만 특정 작업에선 꽤 쓸모 있는 것 같아요.
저도 정확히 같은 생각이에요 ㅋㅋ 마케팅 같아요
저도 비슷한 생각이었는데 최근에 긴 문서 일괄 분석할 때 진짜 쓸모 있더라고요. 예를 들어 회사 분기별 보고서 여러 개를 한 번에 넣고 인사이트 뽑을 때 훨씬 나아요. 그 전까진 청킹해서 여러 번 돌려야 했거든요.
코드 리뷰는 맞아요, 30K 정도면 충분하죠. 근데 긴 레포지토리 전체 구조 파악하거나 기술 문서들을 컨텍스트에 다 담고 싶을 땐 확실히 달라요. Needle in a haystack 테스트 결과도 보면 Claude가 200K에서 정확도 꽤 잘 유지하더라고요.
다만 실제로 200K를 다 쓸 일은 드물긴 합니다. 80
코드 리뷰는 맞아요, 30K 정도면 충분하죠. 근데 긴 레포지토리 전체 구조 파악하거나 기술 문서들을 컨텍스트에 다 담고 싶을 땐 확실히 달라요. Needle in a haystack 테스트 결과도 보면 Claude가 200K에서 정확도 꽤 잘 유지하더라고요.
다만 실제로 200K를 다 쓸 일은 드물긴 합니다. 80
저도 비슷한 생각했는데 실제로는 쓸모 있더라고요. 특히 긴 문서 여러 개를 한 번에 분석할 때나 복잡한 레거시 코드베이스 전체 맥락을 줄 때 차이가 확실히 나요. 30~40K면 파일 몇 개 정도인데 실제 프로젝트는 훨씬 크잖아요. 그리고 요약 과정에서 손실되는 정보들이 있는데 큰 윈도우면 그런 손실을 줄일 수 있어요. 다만 실무에서 항상 필요한 건 아니고 특정 상황에서만 도움 된다는 게 정확한 것 같습니다.
댓글을 작성하려면 로그인이 필요합니다.