GPT API 쓰면서 자꾸 생각이 안 드는데, 프롬프트 토큰이랑 완성 토큰 계산이 정확히 어떻게 되는 건가요. 공식 문서 봐도 좀 헷갈리더라고요.
특히 system 메시지는 매번 카운트되는 건지, 아니면 처음 한 번만 되는 건지 궁금해요. 아니면 API 호출할 때마다 전체 메시지 히스토리가 다 계산되는 건지...
요즘 프로젝트에서 gpt-4o 쓰는데 생각보다 비용이 많이 나오더라고요. 토큰 계산을 제대로 이해하면 좀 절약할 수 있을 것 같긴 한데, 혹시 팁이나 좋은 방법 아시는 분 있으면 알려주세요.
추천 0 비추천 0