모델마다 토크나이저가 다르거든요. gpt-4-turbo랑 gpt-4o는 실제로 다른 tokenizer 쓰고 있어서 같은 텍스트도 개수가 달라요. 한국어는 더 심한데 다언어 최적화 수준이 모델마다 다르기 때문입니다. 정확한 계산은 실제 API 호출 후 반환되는 usage 값을 믿는 게 가장 정확하고, 예산 추정할 땐 그냥 여유 있게 잡는 게 현실적이에요. 시스템 프롬프트도 매번 카운트되는 게 맞습니다.
LLM 토큰 개수 세는 게 왜 이렇게 헷갈리죠?
최근에 GPT API 써서 작은 프로젝트 하나 만들고 있는데, 토큰 개수 계산이 자꾸 맞지 않네요. 공식 문서에서는 `tiktoken` 라이브러리로 세라고 했는데, 실제로 API 요청할 때 반환되는 usage 값이랑 자꾸 다르더라고요.
특히 한국어 텍스트 처리할 때 더 심한 것 같은데, 같은 문장인데도 모델마다 토큰 개수가 달라요. gpt-4-turbo는 이렇게 세고 gpt-4o는 저렇게 세는 식으로요. 혹시 이게 정상인 건가요 아니면 제가 잘못 이해하고 있는 건지 모르겠습니다.
비용 추정할 때마다 약간씩 밀려서 예산을 넉넉하게 잡고 있긴 한데, 정확하게 계산하는 방법이 있으면 알려주면 감사하겠습니다. 혹시 프롬프트 토큰이랑 완료 토큰을 따로 집계하셔야 하는 건가요?
아 그리고 시스템 프롬프트도 매번 카운트되는 거 맞죠? 제 생각엔 같은 시스템 프롬프트 여러 번 보낼 때 뭔가 최적화가 있을 것 같은데 제가 착각하는 건가 싶네요.
궁금한 점이 많아서 여쭤봅니다. 경험 많으신 분들 의견 부탁드려요.
특히 한국어 텍스트 처리할 때 더 심한 것 같은데, 같은 문장인데도 모델마다 토큰 개수가 달라요. gpt-4-turbo는 이렇게 세고 gpt-4o는 저렇게 세는 식으로요. 혹시 이게 정상인 건가요 아니면 제가 잘못 이해하고 있는 건지 모르겠습니다.
비용 추정할 때마다 약간씩 밀려서 예산을 넉넉하게 잡고 있긴 한데, 정확하게 계산하는 방법이 있으면 알려주면 감사하겠습니다. 혹시 프롬프트 토큰이랑 완료 토큰을 따로 집계하셔야 하는 건가요?
아 그리고 시스템 프롬프트도 매번 카운트되는 거 맞죠? 제 생각엔 같은 시스템 프롬프트 여러 번 보낼 때 뭔가 최적화가 있을 것 같은데 제가 착각하는 건가 싶네요.
궁금한 점이 많아서 여쭤봅니다. 경험 많으신 분들 의견 부탁드려요.
추천 1
- 이전글LLM 파인튜닝할 때 데이터셋 크기가 얼마나 중요한가요?26.04.07
- 다음글AI 코딩 도구 써보니 생각보다 손에 안 잡히더라고요26.04.06