2026.11.15 접속자 157명
로그인 회원가입
HOT
[프롬프트] 업무 보고서 쓸 때 프롬프트 이렇게 하니까 시간 반으로 줄었어요 [AI뉴스] AI 투자 광풍이 이상해지고 있어요 [기술 Q&A] 트랜스포머 모델 fine-tuning할 때 learning rate 어떻게 정하시나요? [AI뉴스] 요즘 딥러닝 논문들 보니까 진짜 달라지고 있네요 [기술 Q&A] LLM 프롬프트 엔지니어링 진짜 필요한 건가요? [프롬프트] AI한테 코드 리뷰 받는 프롬프트 어떻게 짜세요? [AI뉴스] 2026년 글로벌 AI 규제 본격화, 한국 기업도 준비하라는 신호 나왔네요 [프롬프트] 데이터 분석 프롬프트 이거 써봤는데 진짜 쓸만하네요 [프롬프트] 프롬프트 작성할 때 컨텍스트 먼저 주는 거 vs 마지막에 주는 거 [자유게시판] 직장 다닐 때 점심시간에 뭐하세요? [프롬프트] 업무 보고서 쓸 때 프롬프트 이렇게 하니까 시간 반으로 줄었어요 [AI뉴스] AI 투자 광풍이 이상해지고 있어요 [기술 Q&A] 트랜스포머 모델 fine-tuning할 때 learning rate 어떻게 정하시나요? [AI뉴스] 요즘 딥러닝 논문들 보니까 진짜 달라지고 있네요 [기술 Q&A] LLM 프롬프트 엔지니어링 진짜 필요한 건가요? [프롬프트] AI한테 코드 리뷰 받는 프롬프트 어떻게 짜세요? [AI뉴스] 2026년 글로벌 AI 규제 본격화, 한국 기업도 준비하라는 신호 나왔네요 [프롬프트] 데이터 분석 프롬프트 이거 써봤는데 진짜 쓸만하네요 [프롬프트] 프롬프트 작성할 때 컨텍스트 먼저 주는 거 vs 마지막에 주는 거 [자유게시판] 직장 다닐 때 점심시간에 뭐하세요?
API연동

트랜스포머 모델 fine-tuning할 때 learning rate 어떻게 정하시나요?

요정 2026.11.08 22:33 조회 255 추천 4 댓글 0건
요즘 허깅페이스에서 BERT 기반 모델로 텍스트 분류 작업을 하고 있는데, learning rate 설정이 자꾸 헷갈리더라고요. 일반적으로 fine-tuning할 땐 2e-5에서 5e-5 사이를 추천하는데, 데이터셋 크기나 epoch 수에 따라 달라지지 않나 싶습니다.

그리고 보통 learning rate scheduler는 뭘 쓰시나요? linear decay를 많이 쓰는 것 같긴 한데, 실제로는 cosine annealing이 더 나을 수도 있다는 의견도 봤거든요. 제 데이터셋은 한국어 리뷰 텍스트 약 50k개 정도 되는데, 혹시 이 규모면 어느 정도 설정이 적절할까요?

혹시 프로젝트마다 다르게 하신 경험 있으신 분 계신가요? 팁이나 논문 링크 같은 거 있으면 정말 감사하겠습니다.
추천 4 비추천 0
댓글 0

댓글목록

아직 댓글이 없습니다. 첫 댓글을 남겨보세요!