Le filThèmes : RechercheOpen sourceModèles
Une étude montre que la dérive du routage ne suffit pas à diagnostiquer un échec dans les MoE fusionnés
1 sourcemis à jour 29 sept.pertinence 3,2 sur5
L’essentiel
Testée sur DeepSeekMoE, OLMoE et Qwen3-MoE, l’analyse attribue la plupart des réaffectations d’experts aux entrées plutôt qu’aux paramètres. Les auteurs publient leur boîte à outils et le code de SRR.
Propagation1 article, publié par HF Daily Papers le 29 sept..
Les sources
1 article
HF Daily PapersCommunauté : fiche de la sourceSource primaire
Hugging FaceYuanyi Wang, Yanggan Gu, Su Lu et al.huggingface.co
Routing Drift Alone Does Not Diagnose Failure in Merged MoE LLMs (site externe)
Model merging efficiently combines specialized large language models (LLMs) without joint retraining, but can substantially alter expert routing in Mixture-of-Experts (MoE) models.
Sur les mêmes thèmes
Modèles
Xiaomi publie MiMo-V2.6-Pro, un modèle open-weights omnimodal de 1 000 milliards de paramètres
Modèles
Xiaomi MiMo publie MiMo-V2.6-Distill-Qwen-9B, un modèle agentique de 9 milliards de paramètres
Modèles
Reflection dévoile Beam, un modèle d’IA de 501 milliards de paramètres
Modèles
OpenAI publie 722 manuscrits de mathématiques issus d’un modèle interne non diffusé
À lire ensuite
Modèles
Google DeepMind annonce Gemini 4 Argon, déployé d’abord auprès de défenseurs cyber de confiance via Fairwind
Modèles
OpenAI lance GPT-6 Sol et GPT-6 Luna, deux modèles plus économiques qui complètent GPT-6 Astra
Modèles
Anthropic publie Claude Opus 5.5 et OpenAI lance GPT-6 Sol et GPT-6 Luna à environ une heure d’écart
Modèles
Anthropic lance Claude Sonnet 5.5, deuxième modèle de la famille Claude 5.5