Le filThèmes : InfraRechercheOpen source
PrismQuant propose une rotation qui aligne les activations avec les groupes INT4 asymétriques
1 sourcemis à jour 30 sept.pertinence 3,5 sur5
L’essentiel
Sur Llama-3.1-70B en W4A4KV4, la méthode atteint une perplexité de 3,85 et 72,46 % de précision zero-shot moyenne, à 0,22 point de la pleine précision. Sur Llama-3.1-8B, le prefill est 1,51 fois plus rapide qu’en FP16.
Propagation1 article, publié par HF Daily Papers le 30 sept..
Les sources
1 article
HF Daily PapersCommunauté : fiche de la sourceSource primaire
Hugging FaceYanlong Chen, Yining Chen, Song Zhang et al.huggingface.co
PrismQuant: Optimal Null-Space Rotations for Grouped Quantizers (site externe)
We introduce PrismQuant, a quantizer-aware rotation framework that aligns the leading activation eigenspace with the constant group subspace of asymmetric grouped INT4.
Sur les mêmes thèmes
Open source
Ai2 publie Olmo-core 3, son framework d’entraînement ouvert pour de grands modèles à mélange d’experts
Recherche
RayOrch, un moteur distribué, préserve les liens parent-enfant dans la préparation de données d’IA
Infra
Galahad, une couche mémoire pour vLLM, SGLang et llama.cpp, évite de relire les mêmes textes
Recherche
LoGRA réduit la mémoire de l’entraînement par RL des LLM grâce à des esquisses de gradient de bas rang
À lire ensuite
Modèles
Google DeepMind annonce Gemini 4 Argon, déployé d’abord auprès de défenseurs cyber de confiance via Fairwind
Modèles
OpenAI lance GPT-6 Sol et GPT-6 Luna, deux modèles plus économiques qui complètent GPT-6 Astra
Modèles
Anthropic publie Claude Opus 5.5 et OpenAI lance GPT-6 Sol et GPT-6 Luna à environ une heure d’écart
Modèles
Anthropic lance Claude Sonnet 5.5, deuxième modèle de la famille Claude 5.5