최근 AI/ML 논문들을 보면 단순한 성능 경쟁을 넘어 에이전트의 자율성, 학습 효율성, 그리고 아키텍처의 근본적 이해를 향해 나아가고 있다는 게 느껴져요. 기존엔 그냥 모델 크기 키우고 성능지표 올리는 데만 집중했는데, 지금은 완전 다른 패러다임으로 가는 것 같습니다.
모델의 덩치를 무작정 키우기보다, 훈련 및 추론 과정의 자원 소모를 극적으로 줄이는 '가성비' 높은 최적화 기법들이 두드러지고 있다고 하는데, 이건 실제로 산업에서 필요한 부분이긴 해요. 단 13개의 훈련 매개변수만으로도 모델의 추론 성능을 90% 이상 회복하는 수준의 연구까지 나오니까요. 이거 들으면 진짜 흥미롭긴 한데, 실무에서 이런 기법들이 정말 먹힐지는 좀 의문이 드네요.
또 하나 눈에 띄는 게 에이전트가 인간의 명시적인 지시나 고정된 궤적을 넘어 스스로 조직을 구성하고 약점을 개선하는 자율적 시스템으로 발전하는 흐름이에요. 경매나 자본 축적처럼 경제학적 메커니즘으로 에이전트들이 협력한다니 좀 과해 보이기도 하지만, 멀티에이전트 시스템이 실제로 진화하고 있다는 건 확실한 것 같습니다.
한때 32비트가 표준이던 딥러닝은 16비트, 8비트를 거쳐, 이제 4비트급 저정밀 연산이 학습에까지 적용되는 흐름도 있네요. 정밀도를 낮춰서 에너지 효율과 속도를