프로젝트에서 오픈소스 모델 튜닝하고 있는데 어떤 프레임워크 쓸지 고민이 많네요. 원래는 허깅페이스 트레이너 썼는데 커스텀 로직이 많아져서 답답했거든요.
최근에 언스슬로스랑 엑스트렌 써본 분 계신가요? 속도나 메모리 효율 면에서 확실히 차이가 나나요? 회사에서 A100 2개 정도 쓸 수 있는데 세팅에 따라 달라질 것 같긴 한데...
특히 LoRA 같은 파라미터 효율적인 방식 하실 때 뭐 추천하세요? 경험담 있으시면 댓글로 부탁드립니다.
추천 8 비추천 0