저도 GPT-4 Turbo 써봤는데 긴 코드 리뷰할 땐 정말 편하네요. 다만 비용이 생각보다 많이 나와서 배치 처리로 돌리는 방식으로 바꿨거든요. 응답 속도도 개선되고요.
프롬프트
최근 LLM 토큰 길이 제한 풀린 거 써보신 분?
요즘 클로드랑 GPT에서 컨텍스트 윈도우 늘린 거 써보고 있는데 확실히 달라지네요. 특히 긴 문서 분석할 때 이전엔 중간에 끊겼던 부분들이 이제 한 번에 처리되더라고요.
다만 응답 속도가 조금 느려지는 건 피할 수 없는 것 같아요. 토큰 많이 처리하는 만큼 당연한 거겠지만요. 그래도 여러 번 나눠서 요청할 필요가 없어져서 전체적으로는 효율이 훨씬 낫습니다.
혹시 프로덕션에 이 기능 도입해보신 분 있으면 성능 영향이나 비용 관련해서 경험담 좀 나눠주실 수 있을까요?
다만 응답 속도가 조금 느려지는 건 피할 수 없는 것 같아요. 토큰 많이 처리하는 만큼 당연한 거겠지만요. 그래도 여러 번 나눠서 요청할 필요가 없어져서 전체적으로는 효율이 훨씬 낫습니다.
혹시 프로덕션에 이 기능 도입해보신 분 있으면 성능 영향이나 비용 관련해서 경험담 좀 나눠주실 수 있을까요?
추천 10 비추천 0
- 이전글LLM 응답 시간 단축하려고 캐싱 적용했는데 실제 효과가 있네요26.04.04
- 다음글요즘 로컬 LLM 뭐 쓰시나요? 프라이빗한 작업용으로26.04.01