Des chercheurs présentent WaveFront Decoding, un décodage auto-spéculatif pour les modèles de langage bouclés
1 sourcemis à jour 29 sept.pertinence 3,1 sur5
L’essentiel
Cette méthode ne nécessite pas d’entraînement. Sur six catégories de Spec-Bench, elle accélère le décodage de 2,42 fois sur Ouro-2.6B et de 3,54 fois sur Huginn-3.5B, face au décodage autorégressif. Le code est disponible.
Propagation1 article, publié par HF Daily Papers le 29 sept..
Les sources
1 article
HF Daily PapersCommunauté : fiche de la sourceSource primaire
Hugging FaceHyeongju Ha, Jae-Joon Kimhuggingface.co
WaveFront Decoding: Parallelized Self-Speculative Decoding for Looped Language Models (site externe)
Looped language models repeatedly apply a weight-shared block to increase effective depth without increasing parameter count, but the resulting T sequential recurrent-block calls per generated token substantially increase decoding latency.
Sur les mêmes thèmes
Infra
Ai2 publie Olmo-core 3, son framework d’entraînement ouvert pour de grands modèles à mélange d’experts
Infra
SlimWise élague les experts uniquement au décodage pour servir plus efficacement les modèles MoE
Recherche
RayOrch, un moteur distribué, préserve les liens parent-enfant dans la préparation de données d’IA
Infra
TRACE propose un entraînement FP4 par RL pour les modèles MoE, guidé par les rollouts
À lire ensuite
Modèles
Google DeepMind annonce Gemini 4 Argon, déployé d’abord auprès de défenseurs cyber de confiance via Fairwind
Modèles
OpenAI lance GPT-6 Sol et GPT-6 Luna, deux modèles plus économiques qui complètent GPT-6 Astra
Modèles
Anthropic publie Claude Opus 5.5 et OpenAI lance GPT-6 Sol et GPT-6 Luna à environ une heure d’écart
Modèles
Anthropic lance Claude Sonnet 5.5, deuxième modèle de la famille Claude 5.5