Une vue RL de l’OPD : distillation de politique par moindres carrés pour un raisonnement des LLM efficace en échantillons
1 sourcemis à jour 29 sept.pertinence 2,8 sur5
L’essentiel
Nous étudions la distillation on-policy (OPD) sous l’angle de l’apprentissage par renforcement, en établissant un lien entre l’objectif de KL inverse dans l’OPD et l’optimisation de politique régularisée par KL.
Propagation1 article, publié par HF Daily Papers le 29 sept..
Les sources
1 article
HF Daily PapersCommunauté : fiche de la sourceSource primaire
Hugging FaceShangzhe Li, Yuxiao Yang, Tianrun Yu et al.huggingface.co
An RL View of OPD: Least Square Policy Distillation for Sample-Efficient LLM Reasoning (site externe)
We study on-policy distillation (OPD) through the lens of reinforcement learning, establishing a connection between the reverse-KL objective in OPD and KL-regularized policy optimization.
Sur les mêmes thèmes
Recherche
Xiaomi publie MiMo-V2.6-Pro, un modèle open-weights omnimodal de 1 000 milliards de paramètres
Recherche
Xiaomi MiMo publie MiMo-V2.6-Distill-Qwen-9B, un modèle agentique de 9 milliards de paramètres
Recherche
NVIDIA affine Nemotron 3 et atteint le niveau or à l’IOI 2026 et à l’IMO 2026
Recherche
Reflection dévoile Beam, un modèle d’IA de 501 milliards de paramètres
À lire ensuite
Modèles
Anthropic lance Claude Haiku 5.5, son nouveau modèle rapide et peu cher, au même prix que GPT-6 Luna
Modèles
Google DeepMind annonce Gemini 4 Argon, déployé d’abord auprès de défenseurs cyber de confiance via Fairwind
Modèles
OpenAI lance GPT-6 Sol et GPT-6 Luna, deux modèles plus économiques qui complètent GPT-6 Astra
Modèles
Anthropic publie Claude Opus 5.5 et OpenAI lance GPT-6 Sol et GPT-6 Luna à environ une heure d’écart