SAKI : supervision par l’enseignant routée par couplage maximal pour la distillation on-policy
1 sourcemis à jour 30 sept.pertinence 3,0 sur5
L’essentiel
La distillation on-policy (OPD) réduit le décalage d’états entre l’entraînement et le test en entraînant un étudiant sur ses propres trajectoires générées, mais les étudiants faibles peuvent visiter des préfixes non alignés avec l’enseignant où la supervision est…
Propagation1 article, publié par HF Daily Papers le 30 sept..
Les sources
1 article
HF Daily PapersCommunauté : fiche de la sourceSource primaire
Hugging FaceMiteto Wei, Xiaohan Wang, Zehao Chen et al.huggingface.co
SAKI: Maximal-Coupling-Routed Teacher Supervision for On-Policy Distillation (site externe)
On-policy distillation (OPD) reduces train-test state mismatch by training a student on its own generated trajectories, but weak students may visit teacher-misaligned prefixes where supervision is less representative.
Sur les mêmes thèmes
Recherche
Xiaomi publie MiMo-V2.6-Pro, un modèle open-weights omnimodal de 1 000 milliards de paramètres
Recherche
Xiaomi MiMo publie MiMo-V2.6-Distill-Qwen-9B, un modèle agentique de 9 milliards de paramètres
Recherche
Reflection dévoile Beam, un modèle d’IA de 501 milliards de paramètres
Recherche
OpenAI publie 722 manuscrits de mathématiques issus d’un modèle interne non diffusé
À lire ensuite
Modèles
Google DeepMind annonce Gemini 4 Argon, déployé d’abord auprès de défenseurs cyber de confiance via Fairwind
Modèles
OpenAI lance GPT-6 Sol et GPT-6 Luna, deux modèles plus économiques qui complètent GPT-6 Astra
Modèles
Anthropic publie Claude Opus 5.5 et OpenAI lance GPT-6 Sol et GPT-6 Luna à environ une heure d’écart
Modèles
Anthropic lance Claude Sonnet 5.5, deuxième modèle de la famille Claude 5.5