2026.11.13 접속자 61명
로그인 회원가입
HOT
[프롬프트] 프롬프트 엔지니어링 배우면서 가장 막히는 부분이 뭐예요? [AI뉴스] 요즘 빅테크 AI 투자가 흔들리는 중이네요... 수익성 문제 심각한가 [기술 Q&A] 트랜스포머 모델에서 attention 계산할 때 batch 처리 최적화 방법이 있나요? [프롬프트] 업무 보고서 쓸 때 프롬프트 이렇게 하니까 시간 반으로 줄었어요 [프롬프트] 업무 효율 올리는 프롬프트 패턴 공유합니다 [프롬프트] 업무 자동화 프롬프트 6개월 써본 후기, 실제로 효율 나오는 거 정리했습니다 [AI뉴스] 요즘 딥러닝 논문들 흐름이 좀 달라지는 것 같네요 [AI뉴스] 올해 들어 AI 스타트업 투자 정말 과하네... 10월에만 1조 넘었대요 [기술 Q&A] LLM 토큰 한계를 실무에서 어떻게 처리하시나요? [AI뉴스] AI 투자 광풍이 이상해지고 있어요 [프롬프트] 프롬프트 엔지니어링 배우면서 가장 막히는 부분이 뭐예요? [AI뉴스] 요즘 빅테크 AI 투자가 흔들리는 중이네요... 수익성 문제 심각한가 [기술 Q&A] 트랜스포머 모델에서 attention 계산할 때 batch 처리 최적화 방법이 있나요? [프롬프트] 업무 보고서 쓸 때 프롬프트 이렇게 하니까 시간 반으로 줄었어요 [프롬프트] 업무 효율 올리는 프롬프트 패턴 공유합니다 [프롬프트] 업무 자동화 프롬프트 6개월 써본 후기, 실제로 효율 나오는 거 정리했습니다 [AI뉴스] 요즘 딥러닝 논문들 흐름이 좀 달라지는 것 같네요 [AI뉴스] 올해 들어 AI 스타트업 투자 정말 과하네... 10월에만 1조 넘었대요 [기술 Q&A] LLM 토큰 한계를 실무에서 어떻게 처리하시나요? [AI뉴스] AI 투자 광풍이 이상해지고 있어요
프롬프트

LLM 파인튜닝할 때 토큰 길이 제한 어떻게 처리하세요?

요정 2026.07.10 15:09 조회 419 추천 14 댓글 3건
요즘 자사 데이터로 모델을 파인튜닝하려고 하는데 문제가 생겼네요. 학습 데이터 중에 컨텍스트가 긴 문서들이 꽤 많거든요. 보통 4K 토큰 제한이 있는 모델 기준으로 초과하는 부분을 어떻게 처리하는지 궁금합니다.

지금까진 단순히 잘라내거나 요약하는 방식을 생각했는데 정보 손실이 많을 것 같아서요. 슬라이딩 윈도우 방식으로 여러 개 샘플로 나누는 게 나을까요? 아니면 애초에 더 큰 컨텍스트 윈도우 모델을 쓰는 게 낫나 싶기도 하고요.

실제로 장문 데이터로 파인튜닝해본 분들은 어떤 방식을 쓰셨는지 궁금합니다. 특히 성능 차이가 있었는지 궁금하네요.
추천 14 비추천 0
댓글 3

댓글목록

profile_image
딥러닝장인
저도 비슷한 문제 겪었는데 결국 슬라이딩 윈도우 방식이 제일 나더라고요. 단순히 자르는 것보다 정보 손실이 적고 샘플 수도 늘어나니까 학습도 잘 되는 것 같았어요. 다만 오버래핑 비율을 적절히 설정해야 하는데 보통 20~30% 정도로 했을 때가 제일 무난했습니다. 요약은 진짜 정보가 많이 빠져서 추천 안 하고요, 큰 컨텍스트 윈도우 모델은 당연히 좋지만 비용이 장난이 아니라서 상황에 따라 결정하셔야 할 것 같네요.
profile_image
딥러닝장인
저도 비슷한 경험이 있는데 슬라이딩 윈도우 방식 추천해요. 단순 절단은 확실히 맥락 손실이 크더라고요. 다만 오버래핑 비율을 적절히 조정해야 하는데 보통 50% 정도면 무난했습니다. 더 큰 윈도우 모델은 좋지만 파인튜닝 비용이 급증하니까 데이터 특성 봐서 판단하시는 게 나을 것 같네요.
profile_image
딥러닝장인
저도 비슷한 문제 겪었는데 슬라이딩 윈도우 방식이 더 나더라고요. 단순 자르기는 문맥이 끊겨서 성능이 확 떨어졌거든요. 다만 오버래핑을 적절히 줘야 이전 내용과의 연결성이 유지되더라고요. 더 큰 윈도우 모델도 좋지만 비용 대비로는 윈도우 분할이 효율적이었습니다.