PMOPD protège les sous-espaces de paramètres pour limiter les conflits dans la distillation multi-enseignants
1 sourcemis à jour 30 sept.pertinence 3,0 sur5
L’essentiel
La méthode améliore chaque capacité évaluée (le code, le raisonnement, les maths) par rapport à MOPD. Le score moyen des trois tâches gagne 2,54 points sur Qwen2.5-7B et 2,09 points sur Llama-3.1-8B.
Propagation1 article, publié par HF Daily Papers le 30 sept..
Les sources
1 article
HF Daily PapersCommunauté : fiche de la sourceSource primaire
Hugging FaceYouzhi Liu, Ruobing Zheng, Boyuan Tong et al.huggingface.co
PMOPD: Task Ordering, Cycling, and Parameter-Update Subspace Protection in Multi-Teacher On-Policy Distillation (site externe)
Multi-teacher on-policy distillation (MOPD) has emerged as a popular post-training paradigm for integrating specialized capabilities in frontier language models.
Sur les mêmes thèmes
Recherche
Xiaomi publie MiMo-V2.6-Pro, un modèle open-weights omnimodal de 1 000 milliards de paramètres
Recherche
Xiaomi MiMo publie MiMo-V2.6-Distill-Qwen-9B, un modèle agentique de 9 milliards de paramètres
Recherche
NVIDIA affine Nemotron 3 et atteint le niveau or à l’IOI 2026 et à l’IMO 2026
Recherche
Reflection dévoile Beam, un modèle d’IA de 501 milliards de paramètres
À lire ensuite
Modèles
Google DeepMind annonce Gemini 4 Argon, déployé d’abord auprès de défenseurs cyber de confiance via Fairwind
Modèles
OpenAI lance GPT-6 Sol et GPT-6 Luna, deux modèles plus économiques qui complètent GPT-6 Astra
Modèles
Anthropic publie Claude Opus 5.5 et OpenAI lance GPT-6 Sol et GPT-6 Luna à environ une heure d’écart
Modèles
Anthropic lance Claude Sonnet 5.5, deuxième modèle de la famille Claude 5.5