Édition de 14 h
138 stories sur les 1 117 de la quinzaine, dont 88 ces sept derniers jours.
Thèmes : Infra · Recherche
Implémenté dans vLLM, SlimWise accélère le débit de décodage jusqu’à 1,81 fois sur Qwen3.6-35B-A3B avec 50 % d’experts élagués, pour une perte de précision minime.
Le framework, testé sur quatre grands modèles MoE, atteint des performances de RL comparables au rollout en BF16 avec des rollouts FP4.
19 stories, dernières 24 heures
Thèmes : Open source · Infra
Selon AINews, la communauté propose une PR llama.cpp (#30054) et des poids GGUF de ggml-org et d’Unsloth. La page ggml-org indique un modèle de 0,3 milliard de paramètres, en 8 bits et 16 bits.
Un modèle plus grand est en cours d’entraînement.
Le temps d’inférence du modèle passe de 61,557 ms à 21,956 ms.
CtrlCache, sans réentraînement, obtient des accélérations de 1,21× à 1,41× du backbone DiT sur Matrix-Game 2.0 et LingBot-World v1/v2, et améliore les scores WBench Overall des trois modèles.
69 stories, sept derniers jours
Thèmes : Open source · Infra
Le checkpoint passe de 54 Go à 12,3 Go, pour +0,02 % de perplexité face au BF16 et un contexte de 262 144 tokens. OrcaRouter annonce 70,0 % sur SWE-bench Verified et 90,1 tok/s sur un GPU de 16 Go avec MTP.
Dans un benchmark, passer de 8 à 128 experts a fait croître les paramètres totaux de 4,6 à 47 milliards, avec un débit d’entraînement en baisse de moins de 5 %.
Le checkpoint passe de 54,7 à 15,7 Go avec +0,80 % de perplexité par rapport au BF16.
50 stories, reste de la quinzaine