2026.06.12 접속자 34명
로그인 | 회원가입 | AI 서비스
로그인 회원가입
HOT
[AI뉴스] 2026년 AI는 에이전트 시대로... 생성형 AI는 이제 지나간 얘기인가요? [프롬프트] 실무에서 쓸 만한 프롬프트 템플릿 찾으시는 분 계신가요? [AI뉴스] 요즘 오픈소스 모델들 진짜 후지지 않네요 [프롬프트] 실제 일할 때 쓰는 프롬프트 패턴 정리해봤습니다 [프롬프트] Claude에 이 프롬프트 먹였더니 코드 리뷰가 완전 달라지네요 [AI뉴스] 요즘 AI 기업들 진짜 미친 속도로 움직이고 있네요 [프롬프트] 코드 리뷰 요청할 때 쓸 만한 프롬프트 있으신가요? [AI뉴스] AI도 이제 손발이 생겼네요... 챗봇에서 에이전트 AI로 넘어가는 중 [프롬프트] AI한테 물어볼 때 이 프롬프트 쓰니까 훨씬 나아졌어요 [AI뉴스] 요즘 AI 회사들 자금 유치 진짜 미친 수준이더라고요 [AI뉴스] 2026년 AI는 에이전트 시대로... 생성형 AI는 이제 지나간 얘기인가요? [프롬프트] 실무에서 쓸 만한 프롬프트 템플릿 찾으시는 분 계신가요? [AI뉴스] 요즘 오픈소스 모델들 진짜 후지지 않네요 [프롬프트] 실제 일할 때 쓰는 프롬프트 패턴 정리해봤습니다 [프롬프트] Claude에 이 프롬프트 먹였더니 코드 리뷰가 완전 달라지네요 [AI뉴스] 요즘 AI 기업들 진짜 미친 속도로 움직이고 있네요 [프롬프트] 코드 리뷰 요청할 때 쓸 만한 프롬프트 있으신가요? [AI뉴스] AI도 이제 손발이 생겼네요... 챗봇에서 에이전트 AI로 넘어가는 중 [프롬프트] AI한테 물어볼 때 이 프롬프트 쓰니까 훨씬 나아졌어요 [AI뉴스] 요즘 AI 회사들 자금 유치 진짜 미친 수준이더라고요
홈 › 기술 Q&A › 글 보기
목록
API연동

RAG 시스템에서 context window 크기 문제 겪으신 분?

딥러닝장인 2026.04.30 08:51 조회 116 추천 12 댓글 4건
요즘 RAG 기반 챗봇 구축하고 있는데 vector DB에서 가져온 청크들을 context에 넣다 보니 토큰 오버플로우가 자꾸 생기더라고요. 지금은 상위 3~4개 청크만 선별하고 있는데 관련성 떨어지는 경우가 있어서 고민이네요.

혹시 이런 경우 어떻게 대처하시나요? 청크 크기를 더 줄이거나 랭크 재정렬(reranking) 모델을 따로 쓰는 게 나을까요? 아니면 프롬프트 최적화로 해결이 가능한 건지... 비용 효율까지 고려하면 어떤 방법이 가장 실용적인지 궁금합니다.

요즘 LLM들이 context window 길이도 늘어나는 추세더라도 실제 프로덕션에서는 비용이 문제가 되는 것 같아요.
추천 12 비추천 0
댓글 4

댓글목록

profile_image
AI소연이
저도 비슷한 문제로 고생했는데 결론은 reranking 모델 도입이 가장 실용적이더라고요. Cohere나 오픈소스 모델들이 꽤 가볍고 비용도 괜찮은 수준이거든요.
청크 크기 줄이기는 정확도가 떨어질 수 있어서 별로고, 프롬프트 최적화만으로는 한계가 있었어요. 상위 10개 청크를 뽑은 다음 reranking으로 3~4개 추렸더니 관련성이 훨씬 나아졌습니다. 토큰도 덜 쓰고요.
요청 건수가 많다면 비용을 다시 계산해봐야겠지만, 정확도와 비용 밸런스로는 이 방식이 제일 낫다고 봐요.
profile_image
GPT덕후하나
저는 reranking 모델 따로 쓰는 게 결국 가장 실용적이더라고요. 비용 더 들긴 하지만 관련성 높은 청크만 골라서 넣으니까 context window를 더 효율적으로 쓸 수 있어요. 청크 크기 줄이면 의미 손실이 생겨서 별로였습니다.
profile_image
딥러너
저도 요즘 이 문제로 계속 싸우고 있네요 ㅠㅠ
저희는 결국 reranking 모델 도입했어요. cohere의 rerank 같은 경우 비용이 생각보다 합리적이더라고요. 상위 10~15개 청크를 일단 뽑아서 reranking으로 3~4개로 줄이는 방식인데, 그냥 3~4개만 뽑는 것보다 관련성이 훨씬 좋았어요.
청크 크기를 줄이는 건 솔직히 양날의 검인 것 같아요. 너무 작으면 컨텍스트가 끊겨서 오히려 답변 질이 떨어지더라고요.
프롬프트 최적화만으로는 한계가 있다고 봐요. 부실한 청크 선별이 애초부터 문제니까요.
비용 측면에선 re
profile_image
인공지능개그맨
전 reranking 써봤는데 확실히 도움 되더라고요. 비용은 조금 올라가긴 하지만 불필요한 청크 걸러지니까 전체 토큰 절약이 돼요. 청크 크기 줄이는 건 의미 있는 정보까지 쪼개져서 별로더라고요 ㅋㅋ
목록으로