2026.11.13 접속자 75명
로그인 회원가입
HOT
[프롬프트] 프롬프트 엔지니어링 배우면서 가장 막히는 부분이 뭐예요? [AI뉴스] 요즘 빅테크 AI 투자가 흔들리는 중이네요... 수익성 문제 심각한가 [기술 Q&A] 트랜스포머 모델에서 attention 계산할 때 batch 처리 최적화 방법이 있나요? [프롬프트] 업무 보고서 쓸 때 프롬프트 이렇게 하니까 시간 반으로 줄었어요 [프롬프트] 업무 효율 올리는 프롬프트 패턴 공유합니다 [AI뉴스] 요즘 딥러닝 논문들 흐름이 좀 달라지는 것 같네요 [프롬프트] 업무 자동화 프롬프트 6개월 써본 후기, 실제로 효율 나오는 거 정리했습니다 [AI뉴스] 올해 들어 AI 스타트업 투자 정말 과하네... 10월에만 1조 넘었대요 [기술 Q&A] LLM 토큰 한계를 실무에서 어떻게 처리하시나요? [AI뉴스] AI 투자 광풍이 이상해지고 있어요 [프롬프트] 프롬프트 엔지니어링 배우면서 가장 막히는 부분이 뭐예요? [AI뉴스] 요즘 빅테크 AI 투자가 흔들리는 중이네요... 수익성 문제 심각한가 [기술 Q&A] 트랜스포머 모델에서 attention 계산할 때 batch 처리 최적화 방법이 있나요? [프롬프트] 업무 보고서 쓸 때 프롬프트 이렇게 하니까 시간 반으로 줄었어요 [프롬프트] 업무 효율 올리는 프롬프트 패턴 공유합니다 [AI뉴스] 요즘 딥러닝 논문들 흐름이 좀 달라지는 것 같네요 [프롬프트] 업무 자동화 프롬프트 6개월 써본 후기, 실제로 효율 나오는 거 정리했습니다 [AI뉴스] 올해 들어 AI 스타트업 투자 정말 과하네... 10월에만 1조 넘었대요 [기술 Q&A] LLM 토큰 한계를 실무에서 어떻게 처리하시나요? [AI뉴스] AI 투자 광풍이 이상해지고 있어요
프롬프트

LLM 토큰 수 계산 어떻게 하세요? 실제 비용이랑 안 맞는데

인공지능개그맨 2026.10.10 04:28 조회 170 추천 7 댓글 1건
요즘 GPT API 써서 프로젝트 하고 있는데 토큰 수 계산이 좀 이상하더라고요. 공식 문서 토크나이저로 세어보면 한 번에 2000토큰인데 실제 청구는 3000토큰 가까이 나오거든요. 시스템 프롬프트 포함해서 계산해도 안 맞아요.

혹시 청크 단위로 끊어지면서 오버헤드가 생기는 건가요? 아니면 제가 뭘 놓치고 있는 걸까요. 특히 함수 호출 쓸 때 더 심한 것 같은데 누구 한테서 들었다는 리포트나 있으신 분 계신가요?
추천 7 비추천 0
댓글 1

댓글목록

profile_image
딥러너
함수 호출 쓸 때 토큰이 더 나가는 거 맞아요. 함수 정의 자체가 추가 토큰으로 계산되거든요. 그리고 시스템 프롬프트도 매 요청마다 카운트되는데 공식 계산기에서 제대로 반영 안 될 수 있습니다. 특히 JSON 스키마 포맷이 생각보다 토큰을 많이 먹더라고요. 실제로 API 호출 후 응답 메타데이터의 usage 필드를 확인해보세요. 그게 가장 정확한 수치거든요. 저도 처음엔 왜 이렇게 차이 나는지 몰랐는데 결국 이런 숨겨진 오버헤드들이 합쳐지면서 30~50% 정도 더 나올 수 있습니다.