Le filThèmes : RechercheOpen source
Pendant le pré-entraînement, des modèles de langage changent brusquement de mode de réponse
1 sourcemis à jour il y a 5 jpertinence 2,5 sur5
L’essentiel
Ce phénomène, nommé MODE-HOPPING, apparaît dans OLMo3-32B sur des tâches d’arithmétique. Selon des expériences contrôlées, un entraînement plus long ne garantit pas toujours une meilleure généralisation.
Propagation1 article, publié par TLDR AI le 1 oct. à 15 h 35.
Les sources
1 article
Aucune source primaire : la page de l’auteur du fait n’est pas parmi les sources.
TLDR AIAgrégateur : fiche de la sourceRelais
TLDR, fondée et dirigée par Dan Ni, qui la détient à 100 %alphaxiv.org
Generalization Dynamics of LM Pre-training (site externe)
During pre-training, models can abruptly switch response patterns, a phenomenon termed MODE-HOPPING.
Sur les mêmes thèmes
Open source
Xiaomi publie MiMo-V2.6-Pro, un modèle open-weights omnimodal de 1 000 milliards de paramètres
Open source
Xiaomi MiMo publie MiMo-V2.6-Distill-Qwen-9B, un modèle agentique de 9 milliards de paramètres
Open source
Reflection dévoile Beam, un modèle d’IA de 501 milliards de paramètres
Recherche
OpenAI publie 722 manuscrits de mathématiques issus d’un modèle interne non diffusé
À lire ensuite
Modèles
Google DeepMind annonce Gemini 4 Argon, déployé d’abord auprès de défenseurs cyber de confiance via Fairwind
Modèles
OpenAI lance GPT-6 Sol et GPT-6 Luna, deux modèles plus économiques qui complètent GPT-6 Astra
Modèles
Anthropic publie Claude Opus 5.5 et OpenAI lance GPT-6 Sol et GPT-6 Luna à environ une heure d’écart
Modèles
Anthropic lance Claude Sonnet 5.5, deuxième modèle de la famille Claude 5.5