Le filThèmes : RechercheModèles
Des chercheurs proposent les Loop Scaling Laws, lois d’échelle des MoE avec des boucles de récurrence
1 sourcemis à jour il y a 6 jpertinence 3,0 sur5
L’essentiel
Selon eux, c’est la première loi d’échelle qui modélise ensemble la récurrence et la parcimonie. À calcul d’entraînement égal, un MoE avec des boucles égale un MoE sans boucle environ 2 fois plus grand sur le raisonnement.
Propagation1 article, publié par HF Daily Papers le 1 oct..
Les sources
1 article
HF Daily PapersCommunauté : fiche de la sourceSource primaire
Hugging FaceYanbei Chen, Anirudh Goyal, Raghuraman Krishnamoorthihuggingface.co
Scaling Laws for Looped Mixture of Experts (site externe)
Looped transformers and Mixture-of-Experts (MoE) offer complementary routes to efficient scaling: recurrence increases computational depth at fixed parameters, while MoE sparsity expands total capacity at fixed active compute.
Sur les mêmes thèmes
Modèles
Xiaomi publie MiMo-V2.6-Pro, un modèle open-weights omnimodal de 1 000 milliards de paramètres
Modèles
Xiaomi MiMo publie MiMo-V2.6-Distill-Qwen-9B, un modèle agentique de 9 milliards de paramètres
Modèles
Reflection dévoile Beam, un modèle d’IA de 501 milliards de paramètres
Modèles
OpenAI publie 722 manuscrits de mathématiques issus d’un modèle interne non diffusé
À lire ensuite
Modèles
Google DeepMind annonce Gemini 4 Argon, déployé d’abord auprès de défenseurs cyber de confiance via Fairwind
Modèles
OpenAI lance GPT-6 Sol et GPT-6 Luna, deux modèles plus économiques qui complètent GPT-6 Astra
Modèles
Anthropic publie Claude Opus 5.5 et OpenAI lance GPT-6 Sol et GPT-6 Luna à environ une heure d’écart
Modèles
Anthropic lance Claude Sonnet 5.5, deuxième modèle de la famille Claude 5.5