요즘 프로젝트에서 GPT-4 베이스로 파인튜닝 진행 중인데, 토큰 비용이 예상보다 훨씬 많이 나가더라고요. 특히 데이터 전처리 단계에서 불필요한 토큰들이 많이 포함되는 것 같은데, 다들 어떻게 최적화하시는지 궁금합니다.
LoRA로 가면 토큰 비용 절감이 되긴 하는데, 성능 손실이 있을까봐 걱정되네요. 혹시 토큰 생성할 때 우리가 놓치는 부분이 있을까요?
현재 저는 Anthropic의 토큰 계산기로 체크하고 있긴 한데, 실전에서 더 좋은 방법이 있으면 공유해주세요. 특히 배치 처리할 때 효율적인 방법 있으신 분 계시면 팁 주세요.
추천 9 비추천 0