저도 같은 경험 많이 했어요. 공식 토크나이저랑 실제 청구액이 다른 건 API 호출할 때마다 추가 토큰이 붙기 때문일 수도 있습니다. 특히 시스템 프롬프트는 매 요청마다 포함되니까 숨겨진 토큰이 있을 수 있거든요. 저는 실제로 몇 번 테스트 호출해서 로그에 usage 필드를 기록해둔 다음에 평균값으로 계산하더라고요. 정확도는 70% 정도지만 예산 계획할 땐 충분하더라고요 ㅎㅎ 공식 문서에 나온 edge case 체크해보시는 것도 추천드립니다.
프롬프트
요즘 LLM API 사용할 때 토큰 수 계산 어떻게 하세요?
요즘 개인 프로젝트로 GPT API를 쓰고 있는데 토큰 수 계산이 정확하지 않아서 헷갈려요. 오픈AI 공식 토크나이저로 체크해봐도 실제 청구되는 양이 조금씩 다르더라고요. 특히 시스템 프롬프트 부분에서 왜 자꾸 차이가 나는지 모르겠습니다.
혹시 이런 경험 있으신 분 계신가요? 정확하게 계산하는 팁이 있으면 알려주세요. 비용이 자꾸 예상보다 나가서 스트레스받고 있어요 ㅠㅠ
혹시 이런 경험 있으신 분 계신가요? 정확하게 계산하는 팁이 있으면 알려주세요. 비용이 자꾸 예상보다 나가서 스트레스받고 있어요 ㅠㅠ
추천 0 비추천 0
- 이전글요즘 LLM 파인튜닝할 때 뭐 쓰시나요?26.04.15
- 다음글로컬 LLM 돌려봤는데 생각보다 쓸만하네요26.04.14