Le filThèmes : RechercheInfraOpen source
Des chercheurs proposent une quantification désagrégée qui spécialise le prefill et le decode des LLM
1 sourcemis à jour 28 sept.pertinence 3,5 sur5
L’essentiel
Sur Qwen3.8-27B, entraîner un prefiller NVFP4 améliore de 32,5 points l’exactitude à 1 bit sur MMLU-Pro. Le prefill déchargé (ODP) offre un temps jusqu’au premier token 1,78 fois plus rapide dans llama.cpp, à 8K de prompt.
Propagation1 article, publié par HF Daily Papers le 28 sept..
Les sources
1 article
HF Daily PapersCommunauté : fiche de la sourceSource primaire
Hugging FaceAndrei Panferov, Maximilian Kleinegger, Sweta Priyadarshi et al.huggingface.co
Disaggregated Quantization: Specializing LLM Prefill and Decode (site externe)
Prefill and decode reward different approaches to quantization: low-precision arithmetic accelerates prompt processing, while compact weights reduce memory traffic during generation.
Sur les mêmes thèmes
Open source
Ai2 publie Olmo-core 3, son framework d’entraînement ouvert pour de grands modèles à mélange d’experts
Recherche
RayOrch, un moteur distribué, préserve les liens parent-enfant dans la préparation de données d’IA
Infra
Galahad, une couche mémoire pour vLLM, SGLang et llama.cpp, évite de relire les mêmes textes
Recherche
LoGRA réduit la mémoire de l’entraînement par RL des LLM grâce à des esquisses de gradient de bas rang
À lire ensuite
Modèles
Google DeepMind annonce Gemini 4 Argon, déployé d’abord auprès de défenseurs cyber de confiance via Fairwind
Modèles
OpenAI lance GPT-6 Sol et GPT-6 Luna, deux modèles plus économiques qui complètent GPT-6 Astra
Modèles
Anthropic publie Claude Opus 5.5 et OpenAI lance GPT-6 Sol et GPT-6 Luna à environ une heure d’écart
Modèles
Anthropic lance Claude Sonnet 5.5, deuxième modèle de la famille Claude 5.5