Un papier analyse l’effet des signaux des enseignants sur les paramètres en distillation multi-enseignants
1 sourcemis à jour il y a 2 jpertinence 3,3 sur5
L’essentiel
Sur Qwen3-1.7B, la similarité cosinus des mises à jour atteint 0,83 entre les enseignants et 0,96 entre les règles de moyennage. Environ 97 % des poids maîtres FP32 diffèrent de l’initialisation, contre 7 à 11 % des poids BF16.
Propagation1 article, publié par HF Daily Papers le 5 oct..
Les sources
1 article
HF Daily PapersCommunauté : fiche de la sourceSource primaire
Hugging FaceSiqi Zhu, Suozhi Huang, Kaixuan Zhang et al.huggingface.co
From Gradients to Capabilities: Understanding Multi-Teacher On-Policy Distillation (site externe)
Multi-teacher on-policy distillation (MOPD) aims to combine the strengths of RL-trained teachers in a single student, but how teacher signals affect parameter changes remains underexplored.
Sur les mêmes thèmes
Recherche
Xiaomi publie MiMo-V2.6-Pro, un modèle open-weights omnimodal de 1 000 milliards de paramètres
Recherche
Xiaomi MiMo publie MiMo-V2.6-Distill-Qwen-9B, un modèle agentique de 9 milliards de paramètres
Recherche
Reflection dévoile Beam, un modèle d’IA de 501 milliards de paramètres
Recherche
OpenAI publie 722 manuscrits de mathématiques issus d’un modèle interne non diffusé
À lire ensuite
Modèles
Google DeepMind annonce Gemini 4 Argon, déployé d’abord auprès de défenseurs cyber de confiance via Fairwind
Modèles
OpenAI lance GPT-6 Sol et GPT-6 Luna, deux modèles plus économiques qui complètent GPT-6 Astra
Modèles
Anthropic publie Claude Opus 5.5 et OpenAI lance GPT-6 Sol et GPT-6 Luna à environ une heure d’écart
Modèles
Anthropic lance Claude Sonnet 5.5, deuxième modèle de la famille Claude 5.5