저도 같은 문제로 고민했는데, 결국 용도에 따라 다른 것 같아요. 요약 방식은 정보 손실이 커서 QA 태스크에선 별로더라고요. 저는 슬라이딩 윈도우로 50% 오버래핑해서 청크를 만들었는데 파인튜닝 결과가 더 나았어요. 근데 계산 비용은 확 늘어나긴 합니다 ㅠㅠ
파인튜닝
LLM 파인튜닝할 때 토큰 길이 제한 어떻게 처리하세요?
요즘 자사 데이터로 LLM을 파인튜닝해보고 있는데, 입력 텍스트가 모델의 컨텍스트 윈도우를 자주 초과하거든요. 지금은 그냥 긴 문서를 자르고 있는데 이게 맞는 건지 확신이 안 서요.
혹시 이런 상황에서 쓰는 best practice가 있을까요? 슬라이딩 윈도우 방식으로 오버래핑하게 자르는 게 낫다는 얘기도 있고, 아니면 애초에 문서를 요약해서 주는 게 낫다는 의견도 있고... 실제로 어떤 방식이 효과가 더 좋은지 궁금합니다.
혹시 해보신 분 있으면 어떤 결과였는지 공유 부탁드려요.
혹시 이런 상황에서 쓰는 best practice가 있을까요? 슬라이딩 윈도우 방식으로 오버래핑하게 자르는 게 낫다는 얘기도 있고, 아니면 애초에 문서를 요약해서 주는 게 낫다는 의견도 있고... 실제로 어떤 방식이 효과가 더 좋은지 궁금합니다.
혹시 해보신 분 있으면 어떤 결과였는지 공유 부탁드려요.
추천 11 비추천 0
- 이전글요즘 생성형 AI 모델들 컨텍스트 윈도우 경쟁인데 실제로 필요한 수준이 뭐라고 생각하세요?26.07.07
- 다음글LLM fine-tuning할 때 토큰 길이 제한 때문에 고민이네요26.06.26