LLM fine-tuning할 때 토큰 임베딩 층 고정하고 학습하면 효과가 별로인가요?

임베딩 층을 고정하면 성능 저하는 거의 피할 수 없는 부분이라고 봐요. 임베딩이 단순해 보이지만 도메인 특화 토큰들의 표현을 학습하는 게 중요하거든요. 특히 특정 도메인 데이터셋이면 기존 임베딩과의 mismatch가 클 수밖에 없어요.
다만 계산 비용 고려한다면 LoRA나 prefix tuning 같은 방식도 있습니다. 임베딩은 그대로 두되 어댑터를 추가하는 식인데, 저도 이 방법으로 괜찮은 결과 봤거든요. 전체 파라미터 학습보단 성능이 좀 낮지만 비용 대비로는 꽤 효율적이었습니다.