Le filThèmes : RechercheInfraOpen source
LoGRA réduit la mémoire de l’entraînement par RL des LLM grâce à des esquisses de gradient de bas rang
1 sourcemis à jour il y a 1 jpertinence 3,5 sur5
L’essentiel
LoGRA réduit la mémoire d’entraînement moyenne jusqu’à 45,7 % sans perte de performance. Il permet d’entraîner un modèle de 27 milliards de paramètres sur un seul nœud de huit GPU, où Adam dense manque de mémoire.
Propagation1 article, publié par HF Daily Papers le 6 oct..
Les sources
1 article
HF Daily PapersCommunauté : fiche de la sourceSource primaire
Hugging FaceShaokun Zhang, Yifan Zhang, Jian Hu et al.huggingface.co
LoGRA: Scaling LLM Reinforcement Learning with Low-Rank Gradient Sketches (site externe)
Reinforcement learning (RL) has greatly advanced the capabilities of large language models (LLMs), but its memory demands remain a barrier to broader adoption.
Sur les mêmes thèmes
Open source
Ai2 publie Olmo-core 3, son framework d’entraînement ouvert pour de grands modèles à mélange d’experts
Recherche
RayOrch, un moteur distribué, préserve les liens parent-enfant dans la préparation de données d’IA
Infra
Galahad, une couche mémoire pour vLLM, SGLang et llama.cpp, évite de relire les mêmes textes
Infra
PrismQuant propose une rotation qui aligne les activations avec les groupes INT4 asymétriques
À lire ensuite
Modèles
Google DeepMind annonce Gemini 4 Argon, déployé d’abord auprès de défenseurs cyber de confiance via Fairwind
Modèles
OpenAI lance GPT-6 Sol et GPT-6 Luna, deux modèles plus économiques qui complètent GPT-6 Astra
Modèles
Anthropic publie Claude Opus 5.5 et OpenAI lance GPT-6 Sol et GPT-6 Luna à environ une heure d’écart
Modèles
Anthropic lance Claude Sonnet 5.5, deuxième modèle de la famille Claude 5.5