Le filThèmes : RechercheOpen sourceÉvaluations
LastOPD limite l’effondrement de la distillation on-policy avec un signal latent appliqué en fin de réseau
1 sourcemis à jour 28 sept.pertinence 3,5 sur5
L’essentiel
Le signal latent n’est appliqué qu’à la dernière couche, pendant 10 étapes de transition vers la distillation au niveau des tokens. Sur MATH-500, il gagne 5,55 et 4,02 points avec les enseignants 4B et 8B.
Propagation1 article, publié par HF Daily Papers le 28 sept..
Les sources
1 article
HF Daily PapersCommunauté : fiche de la sourceSource primaire
Hugging FaceJie Yang, Zhengyu Fang, Zelin Xu et al.huggingface.co
LastOPD: Taming Collapse in Latent On-Policy Distillation (site externe)
On-policy distillation (OPD) corrects a student on the responses it writes, but its signal is the teacher’s next-token distribution: it tells the student what the teacher says but misses how it thinks.
Sur les mêmes thèmes
Recherche
PSSA, un modèle de langage récurrent non transformer écrit de zéro en Rust, est présenté sur Hacker News
Recherche
SeLMRoute choisit le modèle de langage adapté à chaque requête grâce à des indices sémantiques probabilistes
Évaluations
Raven, écosystème multi-agents open source, construit et fait évoluer des harnais modulaires
Évaluations
TRACE, un benchmark qui évalue la compréhension vidéo en flux continu selon les conditions d’exécution
À lire ensuite
Modèles
Google DeepMind annonce Gemini 4 Argon, déployé d’abord auprès de défenseurs cyber de confiance via Fairwind
Modèles
OpenAI lance GPT-6 Sol et GPT-6 Luna, deux modèles plus économiques qui complètent GPT-6 Astra
Modèles
Anthropic publie Claude Opus 5.5 et OpenAI lance GPT-6 Sol et GPT-6 Luna à environ une heure d’écart
Modèles
Anthropic lance Claude Sonnet 5.5, deuxième modèle de la famille Claude 5.5