요즘 Llama2 기반으로 우리 회사 데이터로 파인튜닝을 시도하고 있는데, 토크나이저를 새로 학습시켜야 하는지 헷갈려서 질문드립니다.
지금까지는 기본 토크나이저 그대로 쓰고 있었거든요. LoRA로 가볍게 파인튜닝하는 수준이라 그냥 써도 되겠다고 생각했는데, 최근에 누군가는 도메인 특화 데이터면 토크나이저 커스텀이 필수라고 얘기하더라고요. 근데 생각해보니 토크나이저 재학습하려면 리소스도 꽤 들고 배포할 때도 복잡해질 것 같은데...
실제로 파인튜닝할 때 토크나이저를 커스텀하는 게 얼마나 효과가 있나요? 우리 데이터는 기술 문서와 고객 지원 대화 중심인데, 전문 용어가 꽤 많거든요. 이 정도면 커스텀이 도움이 될까요? 아니면 기본 토크나이저로도 충분하고 모델 파인튜닝에 집중하는 게 낫나요?
혹시 경험 있으신 분들 의견 부탁드립니다. 기술 문서 같은 특화 도메인으로 파인튜닝해보신 분들은 토크나이저를 어떻게 처리하셨는지 궁금하네요.