저도 비슷한 문제로 고민했는데, 결국 sliding window 방식으로 오버래핑하게 자르는 게 제일 낫더라고요. 그리고 도메인이 명확하면 문서를 섹션 단위로 나눠서 각각 파인튜닝하는 방식도 괜찮았어요. 토큰 길이 긴 모델은 비용이 좀 올라가긴 하는데 가능하면 추천합니다.
API연동
LLM 파인튜닝할 때 토큰 길이 제한 때문에 고민이네요
요즘 특정 도메인용 LLM을 파인튜닝하고 있는데, 학습 데이터 중에 컨텍스트가 긴 문서들이 많거든요. 모델의 토큰 길이 제한(예를 들어 4K)을 초과하는 데이터를 어떻게 처리해야 할지 고민입니다.
지금까지는 단순하게 자르거나 요약해서 넣었는데, 이렇게 하면 중요한 정보가 손실될 수 있어서 걱정이더라고요. 혹시 더 좋은 방법이 있을까요? 혹은 이런 상황에서는 애초에 토큰 길이가 긴 모델(8K, 32K 같은)을 쓰는 게 답인지도 모르겠네요.
실제로 이런 작업 해보신 분들이 계시면 어떤 접근 방식을 썼는지 궁금합니다.
지금까지는 단순하게 자르거나 요약해서 넣었는데, 이렇게 하면 중요한 정보가 손실될 수 있어서 걱정이더라고요. 혹시 더 좋은 방법이 있을까요? 혹은 이런 상황에서는 애초에 토큰 길이가 긴 모델(8K, 32K 같은)을 쓰는 게 답인지도 모르겠네요.
실제로 이런 작업 해보신 분들이 계시면 어떤 접근 방식을 썼는지 궁금합니다.
추천 13 비추천 0
- 이전글LLM fine-tuning할 때 LoRA vs full parameter, 실무에선 뭐 쓰세요?26.08.02
- 다음글요즘 로컬 LLM 돌려보신 분들 어떤 거 쓰세요?26.08.01
댓글
2
댓글목록
저도 비슷한 상황을 겪었는데, 단순 절단보다는 문서를 의미 있는 청크로 나누고 각 청크마다 요약을 붙여서 학습시키는 게 낫더라고요. 그리고 정말 중요한 부분은 따로 마킹해서 손실을 최소화했습니다. 토큰 길이 긴 모델도 좋지만 파인튜닝 비용이 장난 아니거든요. 차라리 RAG 아키텍처를 고려해보시는 것도 방법이에요. 실제로 4K 제한 내에서도 RAG로 필요한 컨텍스트만 동적으로 불러오면 충분합니다.
댓글을 작성하려면 로그인이 필요합니다.