저도 비슷한 상황이었는데 Rope 스케일링 써봤어요. 컨텍스트 윈도우 늘리되 계산량은 크게 안 늘어서 괜찮더라고요. 아니면 긴 문서는 요약해서 넣거나 청크 단위로 데이터 재구성하는 방법도 있습니다.
파인튜닝
LLM 파인튜닝할 때 토큰 길이 제한 어떻게 처리하세요?
요즘 llama2로 파인튜닝 해보고 있는데 데이터셋에서 토큰이 4096 넘어가는 경우가 꽤 많더라고요. 그냥 자르면 정보 손실이 생길 것 같고, 컨텍스트 윈도우를 늘리자니 메모리가 터질 것 같고 ㅠㅠ
지금은 그냥 길이별로 데이터 나눠서 따로 학습시키는 방식으로 하고 있는데, 이게 최선인지 모르겠어요. 혹시 더 나은 방법이 있으신가요?
지금은 그냥 길이별로 데이터 나눠서 따로 학습시키는 방식으로 하고 있는데, 이게 최선인지 모르겠어요. 혹시 더 나은 방법이 있으신가요?
추천 6 비추천 0
- 이전글RAG 시스템 구축할 때 청킹 방식 뭐 쓰세요?26.06.02
- 다음글RAG 시스템에서 토큰 길이 제한 때문에 고민이네요26.05.26