Un papier montre que l’apprentissage sur les sorties du modèle déstabilise l’entraînement au moment du test
1 sourcemis à jour il y a 1 jpertinence 3,0 sur5
L’essentiel
Sur des flux de 128 000 tokens, conserver les mises à jour issues du texte généré dégrade la prédiction sur du texte humain indépendant. Le même échec apparaît avec Qwen3-4B mis à jour par Adam.
Propagation1 article, publié par HF Daily Papers le 6 oct..
Les sources
1 article
HF Daily PapersCommunauté : fiche de la sourceSource primaire
Hugging FaceCheng Luo, Bing Li, Bernard Ghanemhuggingface.co
Self-Generated Feedback Destabilizes Test-Time Training: A Causal Decomposition of Long-Horizon Adaptation (site externe)
Test-time training (TTT) lets a model store information in its weights during inference. When the model learns from its own output, however, each update also changes the model that generates the next training example.
Sur les mêmes thèmes
Recherche
Xiaomi publie MiMo-V2.6-Pro, un modèle open-weights omnimodal de 1 000 milliards de paramètres
Recherche
Xiaomi MiMo publie MiMo-V2.6-Distill-Qwen-9B, un modèle agentique de 9 milliards de paramètres
Recherche
Reflection dévoile Beam, un modèle d’IA de 501 milliards de paramètres
Recherche
OpenAI publie 722 manuscrits de mathématiques issus d’un modèle interne non diffusé
À lire ensuite
Modèles
Google DeepMind annonce Gemini 4 Argon, déployé d’abord auprès de défenseurs cyber de confiance via Fairwind
Modèles
OpenAI lance GPT-6 Sol et GPT-6 Luna, deux modèles plus économiques qui complètent GPT-6 Astra
Modèles
Anthropic publie Claude Opus 5.5 et OpenAI lance GPT-6 Sol et GPT-6 Luna à environ une heure d’écart
Modèles
Anthropic lance Claude Sonnet 5.5, deuxième modèle de la famille Claude 5.5