최근에 GPT API 쓰면서 토큰 계산 방식이 좀 이상한 것 같은데 다른 분들도 이런 거 느껴보셨나요?
같은 프롬프트인데도 모델 버전이나 온도 설정에 따라 토큰 수가 좀 다르게 나오더라고요. 공식 토크나이저로 계산한 값이랑 실제 청구되는 금액이 미묘하게 안 맞아요. 혹시 시스템 프롬프트가 추가로 카운트되는 건 아닐까 싶은데...
혹시 정확한 계산 방법 아시는 분 계신가요? 아니면 이건 그냥 예상 불가 영역이라고 봐야 하나요?
추천 0 비추천 0