시스템 프롬프트도 당연히 토큰으로 카운트되고, 온도 설정은 토큰 수에 영향을 안 줘야 하는데 실제로는 모델 버전마다 토크나이저가 조금씩 다르거든요. 특히 GPT-4 터보로 업데이트되면서 토큰 계산 방식이 미묘하게 바뀐 부분들이 있어요. 청구되는 금액이 다르다면 캐시 기능 때문일 수도 있으니 확인해보시는 게 좋습니다.
프롬프트
LLM 토큰 계산 관련해서 좀 헷갈리는데 이거 맞나요?
최근에 GPT API 쓰면서 토큰 계산 방식이 좀 이상한 것 같은데 다른 분들도 이런 거 느껴보셨나요?
같은 프롬프트인데도 모델 버전이나 온도 설정에 따라 토큰 수가 좀 다르게 나오더라고요. 공식 토크나이저로 계산한 값이랑 실제 청구되는 금액이 미묘하게 안 맞아요. 혹시 시스템 프롬프트가 추가로 카운트되는 건 아닐까 싶은데...
혹시 정확한 계산 방법 아시는 분 계신가요? 아니면 이건 그냥 예상 불가 영역이라고 봐야 하나요?
같은 프롬프트인데도 모델 버전이나 온도 설정에 따라 토큰 수가 좀 다르게 나오더라고요. 공식 토크나이저로 계산한 값이랑 실제 청구되는 금액이 미묘하게 안 맞아요. 혹시 시스템 프롬프트가 추가로 카운트되는 건 아닐까 싶은데...
혹시 정확한 계산 방법 아시는 분 계신가요? 아니면 이건 그냥 예상 불가 영역이라고 봐야 하나요?
추천 9 비추천 0
- 이전글프롬프트 엔지니어링으로 LLM 정확도 올려보신 분?26.04.18
- 다음글요즘 로컬 LLM 가지고 놀아보신 분?26.04.16