Le filThèmes : RechercheOpen source
Des chercheurs estiment que la divergence KL pourrait ne pas être nécessaire à la distillation on-policy
1 sourcemis à jour 29 sept.pertinence 3,3 sur5
L’essentiel
Selon eux, il suffit que la mise à jour aille vers le modèle enseignant, pour un petit sous-ensemble de tokens en fort désaccord. Leur variante C-MOPD surpasse MOPD sur des benchmarks de maths et de code.
Propagation1 article, publié par HF Daily Papers le 29 sept..
Les sources
1 article
HF Daily PapersCommunauté : fiche de la sourceSource primaire
Hugging FaceWenze Lin, Jiyuan Long, Jiale Zhao et al.huggingface.co
Do We Really Need KL Divergence for On-Policy Distillation of Large Language Models? (site externe)
Since the advent of knowledge distillation, KL divergence has been the standard loss in distillation. Recently, on-policy distillation (OPD) has emerged as an efficient post-training paradigm for LLMs.
Sur les mêmes thèmes
Open source
Xiaomi publie MiMo-V2.6-Pro, un modèle open-weights omnimodal de 1 000 milliards de paramètres
Open source
Xiaomi MiMo publie MiMo-V2.6-Distill-Qwen-9B, un modèle agentique de 9 milliards de paramètres
Open source
Reflection dévoile Beam, un modèle d’IA de 501 milliards de paramètres
Recherche
OpenAI publie 722 manuscrits de mathématiques issus d’un modèle interne non diffusé
À lire ensuite
Modèles
Google DeepMind annonce Gemini 4 Argon, déployé d’abord auprès de défenseurs cyber de confiance via Fairwind
Modèles
OpenAI lance GPT-6 Sol et GPT-6 Luna, deux modèles plus économiques qui complètent GPT-6 Astra
Modèles
Anthropic publie Claude Opus 5.5 et OpenAI lance GPT-6 Sol et GPT-6 Luna à environ une heure d’écart
Modèles
Anthropic lance Claude Sonnet 5.5, deuxième modèle de la famille Claude 5.5