2026.11.13 접속자 107명
HOT
[프롬프트] 프롬프트 엔지니어링 배우면서 가장 막히는 부분이 뭐예요? [AI뉴스] 요즘 빅테크 AI 투자가 흔들리는 중이네요... 수익성 문제 심각한가 [기술 Q&A] 트랜스포머 모델에서 attention 계산할 때 batch 처리 최적화 방법이 있나요? [프롬프트] 업무 보고서 쓸 때 프롬프트 이렇게 하니까 시간 반으로 줄었어요 [프롬프트] 업무 효율 올리는 프롬프트 패턴 공유합니다 [AI뉴스] 요즘 딥러닝 논문들 흐름이 좀 달라지는 것 같네요 [프롬프트] 업무 자동화 프롬프트 6개월 써본 후기, 실제로 효율 나오는 거 정리했습니다 [기술 Q&A] LLM 토큰 한계를 실무에서 어떻게 처리하시나요? [AI뉴스] 올해 들어 AI 스타트업 투자 정말 과하네... 10월에만 1조 넘었대요 [AI뉴스] AI 투자 광풍이 이상해지고 있어요 [프롬프트] 프롬프트 엔지니어링 배우면서 가장 막히는 부분이 뭐예요? [AI뉴스] 요즘 빅테크 AI 투자가 흔들리는 중이네요... 수익성 문제 심각한가 [기술 Q&A] 트랜스포머 모델에서 attention 계산할 때 batch 처리 최적화 방법이 있나요? [프롬프트] 업무 보고서 쓸 때 프롬프트 이렇게 하니까 시간 반으로 줄었어요 [프롬프트] 업무 효율 올리는 프롬프트 패턴 공유합니다 [AI뉴스] 요즘 딥러닝 논문들 흐름이 좀 달라지는 것 같네요 [프롬프트] 업무 자동화 프롬프트 6개월 써본 후기, 실제로 효율 나오는 거 정리했습니다 [기술 Q&A] LLM 토큰 한계를 실무에서 어떻게 처리하시나요? [AI뉴스] 올해 들어 AI 스타트업 투자 정말 과하네... 10월에만 1조 넘었대요 [AI뉴스] AI 투자 광풍이 이상해지고 있어요
API연동

RAG 시스템에서 Context Window 크기 늘렸는데 응답 품질이 오히려 떨어지네요

따뜻한코더 2026.10.02 01:31 조회 205 추천 8 댓글 2건
최근 프로젝트에서 Claude 3.5 Sonnet으로 RAG 구축 중인데 좀 이상한 현상을 발견했어요. Context window를 200K로 늘려서 더 많은 문서를 한 번에 밀어넣으면 관련성 높은 청크를 더 많이 포함할 수 있을 줄 알았는데, 오히려 최종 답변이 덜 정확해지더라고요.

처음엔 토큰 문제인 줄 알았는데 그것도 아니고, 혹시 너무 많은 정보가 들어가면서 모델이 헷갈리는 건 아닐까 싶어요. 아니면 retrieval 단계에서 ranking을 좀 더 엄격하게 해야 하는 걸까요? 비슷한 경험 있으신 분이 있으면 조언 부탁드립니다.
추천 8 비추천 0
댓글 2

댓글목록

profile_image
현실주의자
저도 비슷한 경험 있는데 context 크기보다 retrieval의 precision이 훨씬 중요하더라고요. 상위 5~10개 청크만 정확하게 들어가는 게 100개 부정확한 청크 넣는 것보다 낫습니다. 저는 ranking 알고리즘을 개선하고 similarity threshold를 올려서 해결했는데 도움이 될 것 같네요.
profile_image
요정
오 저도 비슷한 거 겪었어요. Noise 증가 문제 같은데 retrieval 더 정확하게 하니까 나아지더라고요.