Le filThèmes : RechercheOpen source
Un LoRA de rang 8 sur une couche précoce prolonge le calcul des transformers sur les chaînes de références
1 sourcemis à jour il y a 5 jpertinence 3,3 sur5
L’essentiel
Selon ce papier, Qwen3-8B passe de 15,5 % à 99 % d’exactitude sur des chaînes de 24 lignes, avec des poids gelés. Un LoRA entraîné plus longtemps atteint 50 lignes. Le code et une démo interactive sont publiés.
Propagation1 article, publié par HF Daily Papers le 2 oct..
Les sources
1 article
HF Daily PapersCommunauté : fiche de la sourceSource primaire
Hugging FaceZehao Jin, Ruixuan Deng, Junran Wanghuggingface.co
Transformers Stop Thinking Too Early, and a Tiny LoRA Fixes It (site externe)
Pretrained transformers use little of their depth to follow references in context. Thirteen base models reliably follow only 1.4-3.6 lines, and extra pretrained loops add little.
Sur les mêmes thèmes
Open source
Xiaomi publie MiMo-V2.6-Pro, un modèle open-weights omnimodal de 1 000 milliards de paramètres
Open source
Xiaomi MiMo publie MiMo-V2.6-Distill-Qwen-9B, un modèle agentique de 9 milliards de paramètres
Open source
Reflection dévoile Beam, un modèle d’IA de 501 milliards de paramètres
Recherche
OpenAI publie 722 manuscrits de mathématiques issus d’un modèle interne non diffusé
À lire ensuite
Modèles
Google DeepMind annonce Gemini 4 Argon, déployé d’abord auprès de défenseurs cyber de confiance via Fairwind
Modèles
OpenAI lance GPT-6 Sol et GPT-6 Luna, deux modèles plus économiques qui complètent GPT-6 Astra
Modèles
Anthropic publie Claude Opus 5.5 et OpenAI lance GPT-6 Sol et GPT-6 Luna à environ une heure d’écart
Modèles
Anthropic lance Claude Sonnet 5.5, deuxième modèle de la famille Claude 5.5