Le filThèmes : RechercheInfraOpen source
SlideDP permet de fine-tuner des LLM sur plusieurs GPU et s’appuie sur la mémoire de l’hôte
1 sourcemis à jour il y a 6 jpertinence 3,3 sur5
L’essentiel
Ce runtime atteint des débits 1,46 à 2,64 fois supérieurs (moyenne géométrique) à SlideFormer, MegaTrain et ZeRO-Offload. Il fine-tune Qwen2.5-72B sur quatre RTX 4090.
Propagation1 article, publié par HF Daily Papers le 1 oct..
Les sources
1 article
HF Daily PapersCommunauté : fiche de la sourceSource primaire
Hugging FaceRuijia Yang, Shiyuan Lin, Yulong Ao et al.huggingface.co
SlideDP: Scaling Host-Resident LLM Fine-Tuning Across Multiple GPUs (site externe)
Host-resident layer streaming enables full-parameter LLM fine-tuning beyond GPU memory, but data-parallel ranks compete for shared host resources. Replicated transfers amplify traffic, while strong scaling can expose host work as computation windows shrink.
Sur les mêmes thèmes
Open source
Ai2 publie Olmo-core 3, son framework d’entraînement ouvert pour de grands modèles à mélange d’experts
Recherche
RayOrch, un moteur distribué, préserve les liens parent-enfant dans la préparation de données d’IA
Infra
Galahad, une couche mémoire pour vLLM, SGLang et llama.cpp, évite de relire les mêmes textes
Recherche
LoGRA réduit la mémoire de l’entraînement par RL des LLM grâce à des esquisses de gradient de bas rang
À lire ensuite
Modèles
Google DeepMind annonce Gemini 4 Argon, déployé d’abord auprès de défenseurs cyber de confiance via Fairwind
Modèles
OpenAI lance GPT-6 Sol et GPT-6 Luna, deux modèles plus économiques qui complètent GPT-6 Astra
Modèles
Anthropic publie Claude Opus 5.5 et OpenAI lance GPT-6 Sol et GPT-6 Luna à environ une heure d’écart
Modèles
Anthropic lance Claude Sonnet 5.5, deuxième modèle de la famille Claude 5.5