저도 같은 문제로 고민하다가 KoELECTRA 썼는데 성능은 좋은데 메모리가 ㅠㅠ
프롬프트
한국어 NLP 모델 학습할 때 뭐 쓰시나요?
요즘 개인 프로젝트로 한국어 텍스트 분류 모델을 만들고 있는데, 처음부터 학습시키기엔 데이터셋이 부족하더라고요. 그래서 사전학습된 모델을 파인튜닝하려고 생각 중입니다.
KoBERT, KoELECTRA, KoBART 같은 모델들이 많은데, 실제로 어떤 걸 쓸 때 성능 차이가 크게 나나요? 특히 분류 task에서요. 혹시 최근에 써본 모델이 있으면 추천 부탁드립니다. GPU 메모리도 고려해야 해서 모델 사이즈도 중요할 것 같은데...
그리고 파인튜닝할 때 학습 데이터가 적으면 오버피팅이 심하다고 들었는데, 이걸 피하는 팁이 있으면 알려주세요.
KoBERT, KoELECTRA, KoBART 같은 모델들이 많은데, 실제로 어떤 걸 쓸 때 성능 차이가 크게 나나요? 특히 분류 task에서요. 혹시 최근에 써본 모델이 있으면 추천 부탁드립니다. GPU 메모리도 고려해야 해서 모델 사이즈도 중요할 것 같은데...
그리고 파인튜닝할 때 학습 데이터가 적으면 오버피팅이 심하다고 들었는데, 이걸 피하는 팁이 있으면 알려주세요.
추천 12 비추천 0
- 이전글LLM 파인튜닝 할 때 토큰 길이 제한 어떻게 설정하세요?26.07.29
- 다음글LLM fine-tuning할 때 LoRA vs full fine-tuning 뭐가 더 낫나요26.07.25
댓글
4
댓글목록
저도 비슷한 작업을 했는데 KoELECTRA가 성능 대비 메모리 효율이 제일 좋더라고요. KoBERT는 무겁고 KoBART는 생성 태스크용이라 분류엔 별로였어요. 오버피팅은 dropout 높이고 early stopping 필수인데, 데이터 적으면 augmentation도 고려해볼 만합니다.
저도 지금 같은 문제로 고민 중이에요 ㅋㅋ
저도 비슷한 걸 했는데 KoELECTRA가 분류 task에서 제일 무난했어요. KoBERT보다 가볍고 성능도 나쁘지 않더라고요. 오버피팅은 정규화랑 dropout 비율 높여서 어느 정도 잡을 수 있었습니다.
댓글을 작성하려면 로그인이 필요합니다.