Une équipe cite 23,8 T de tokens de pré-entraînement et un entraînement RL/OPD sur 10 000 GB300

6 octobre 2026, 8 h 281 sourcemis à jour il y a 1 jpertinence 2,5 sur5

L’essentiel

Selon les messages de l’équipe, une partie des données vient d’un pipeline d’OCR sur des centaines de millions de PDF. L’entraînement RL/OPD stable compte plus de 100 millions de rollouts sur environ 1 million de tâches.

Propagation1 article, publié par AINews le 6 oct. à 8 h 28.

Les sources

1 article

Aucune source primaire : la page de l’auteur du fait n’est pas parmi les sources.

AINewsRelais6 oct., 8 h 28
x.com
Training scale: Team posts cite 23.8T pretraining tokens, partly from an OCR pipeline over hundreds of millions of PDFs (data lead). They also describe a stable RL/OPD run on 10K GB300s with more than 100M rollouts across ~1M tasks (Damos). (site externe)

Sur les mêmes thèmes

Infra
Ai2 publie Olmo-core 3, son framework d’entraînement ouvert pour de grands modèles à mélange d’experts
Pertinence 3,9 sur52 sourcesil y a 4 j
Infra
SlimWise élague les experts uniquement au décodage pour servir plus efficacement les modèles MoE
Pertinence 3,7 sur51 sourceil y a 13 h
Recherche
RayOrch, un moteur distribué, préserve les liens parent-enfant dans la préparation de données d’IA
Pertinence 3,7 sur51 source28 sept.
Infra
TRACE propose un entraînement FP4 par RL pour les modèles MoE, guidé par les rollouts
Pertinence 3,6 sur51 sourceil y a 13 h

Une équipe cite 23,8 T de tokens de pré-entraînement et un entraînement RL/OPD sur 10 000 GB300

L’essentiel

Les sources

Training scale: Team posts cite 23.8T pretraining tokens, partly from an OCR pipeline over hundreds of millions of PDFs (data lead). They also describe a stable RL/OPD run on 10K GB300s with more than 100M rollouts across ~1M tasks (Damos). (site externe)

Sur les mêmes thèmes

Ai2 publie Olmo-core 3, son framework d’entraînement ouvert pour de grands modèles à mélange d’experts

SlimWise élague les experts uniquement au décodage pour servir plus efficacement les modèles MoE

RayOrch, un moteur distribué, préserve les liens parent-enfant dans la préparation de données d’IA

TRACE propose un entraînement FP4 par RL pour les modèles MoE, guidé par les rollouts

À lire ensuite

Google DeepMind annonce Gemini 4 Argon, déployé d’abord auprès de défenseurs cyber de confiance via Fairwind

OpenAI lance GPT-⁠6 Sol et GPT-⁠6 Luna, deux modèles plus économiques qui complètent GPT-⁠6 Astra

Anthropic publie Claude Opus 5.5 et OpenAI lance GPT-⁠6 Sol et GPT-⁠6 Luna à environ une heure d’écart

Anthropic lance Claude Sonnet 5.5, deuxième modèle de la famille Claude 5.5