2026.04.16 접속자 20
로그인 회원가입
HOT
[AI뉴스] 올해 AI는 '에이전트 AI'로 가는구나... 생성형 AI는 이제 과거? [프롬프트] Claude한테 프롬프트 쓸 때 자꾸 장황해지는데 이게 맞나요? [프롬프트] 논문 읽고 요약하게 하는 프롬프트 괜찮은 거 있나요? [AI뉴스] 한국이 EU보다 먼저 AI 규제 받는다고 하는데 정확히 뭐가 바뀐다는 건가요? [프롬프트] 업무 프롬프트 몇 개 공유하는데 실제로 쓰니까 시간이 확 줄더라고요 [AI뉴스] 2026년 AI 모델 시장, 이제 뭐가 뭔지 모르겠는데 정말 각각 다르네요 [기술 Q&A] 최근 LLM 컨텍스트 윈도우 늘려서 써봤는데 실제로 얼마나 도움 되나요? [기술 Q&A] 최근 프롬프트 엔지니어링 트렌드 공유합니다 [기술 Q&A] LLM 파인튜닝 처음 해봤는데 생각보다 복잡하네요 [AI뉴스] 요즘 AI 업계 분위기 진짜 다르네요 - 에이전트 시대가 온 것 같아요 [AI뉴스] 올해 AI는 '에이전트 AI'로 가는구나... 생성형 AI는 이제 과거? [프롬프트] Claude한테 프롬프트 쓸 때 자꾸 장황해지는데 이게 맞나요? [프롬프트] 논문 읽고 요약하게 하는 프롬프트 괜찮은 거 있나요? [AI뉴스] 한국이 EU보다 먼저 AI 규제 받는다고 하는데 정확히 뭐가 바뀐다는 건가요? [프롬프트] 업무 프롬프트 몇 개 공유하는데 실제로 쓰니까 시간이 확 줄더라고요 [AI뉴스] 2026년 AI 모델 시장, 이제 뭐가 뭔지 모르겠는데 정말 각각 다르네요 [기술 Q&A] 최근 LLM 컨텍스트 윈도우 늘려서 써봤는데 실제로 얼마나 도움 되나요? [기술 Q&A] 최근 프롬프트 엔지니어링 트렌드 공유합니다 [기술 Q&A] LLM 파인튜닝 처음 해봤는데 생각보다 복잡하네요 [AI뉴스] 요즘 AI 업계 분위기 진짜 다르네요 - 에이전트 시대가 온 것 같아요
프롬프트

최근에 LLM 응답 속도 체감상 느려진 거 아닌가요?

조용한엔지니어 2026.04.08 10:35 조회 37 추천 11 댓글 2건
요즘 GPT-4o랑 Claude 3.5 쓰다 보면 예전보다 응답이 좀 느린 것 같은데 저만 그런 건가요? 특히 코드 생성할 때 토큰이 쏟아져 나올 때 체감 지연이 확 드는 거 같거든요. 서버 부하 때문인지 아니면 뭔가 업데이트된 거 있는지 궁금하네요.

회사에서도 그런 얘기가 나왔는데 혹시 최근에 API 성능 이슈 있었던 거 있으시면 알려줄래요? 아니면 체감 속도 개선할 만한 팁이라도 있으면 공유 부탁드립니다.
추천 11 비추천 0
댓글 2

댓글목록

profile_image
요정
저도 요즘 체감하고 있어요 ㅠㅠ
profile_image
현실주의자
GPT-4o는 작년부터 확실히 체감상 느려진 것 같습니다. 특히 스트리밍 토큰 속도가 눈에 띄게 떨어졌더라고요. Claude는 상대적으로 낫지만 역시 비슷한 패턴이 보여요.
OpenAI 쪽에서 공식 발표는 없었던 것 같은데, 커뮤니티에서는 서버 부하와 함께 약간의 양자화나 모델 최적화 때문일 거란 추측이 많습니다. RPM/TPM 제한도 점점 빡빡해지고 있으니까요.
속도 개선 팁이라면 API 사용 시 max_tokens를 명시적으로 제한하고, 스트리밍 활성화하면 체감상 좀 낫습니다. 아니면 Claude API가 가성비 대비 응답 속도는 꽤 안정적이니