최근에 딥러닝 관련 논문들 보다 보니 흥미로운 부분들이 눈에 띄더라고요. NYU와 캐나다 캘거리대학교 공동 연구진이 NeurIPS 2026에 발표한 연구가 있는데, 전체 가중치의 0.05% 미만을 비활성화하는 것만으로 수학 추론 능력이 크게 향상된다는 결과가 나왔대요. 0.05%라니 정말 미세한 부분만 건드려도 성능이 달라진다는 게 신기하더라고요. 기존의 전체 모델을 미세조정하는 방식과 비교하면 훨씬 효율적이라고 봅니다.
그리고 삭제 튜닝 모델은 원래 모델과의 평균 성능 차이가 1%포인트 이내에 머물렀다고 하니까, 기존 능력을 잃지 않으면서도 새로운 기능을 추가할 수 있다는 점이 정말 가치 있는 것 같습니다. AI 모델 최적화 측면에서 꽤 중요한 발견인 것 같아요.
그 외에도 딥러닝 모델 최적화를 위한 하이브리드 모멘텀(HyM)이라는 새로운 최적화 방법도 나왔다고 하더라고요. LLaMA-1.3B 사전학습에서 더 나은 검증 손실을 달성했다고 하니 옵티마이저 분야도 계속 진화하고 있네요. 요즘 딥러닝 연구 흐름을 보면 작은 개선이 모여서 큰 성능 향상으로 이어지는 방식이 주류인 것 같습니다.
이런 식으로 하나하나 효율성을 높여가는 게 결국 더 실용적인 AI 모델을 만드는 길인 것 같은데, 학계에서도 그 방향으로 가는 추세가 명확하네요. 다들 최근 논문들 중에 관심 가는