Le filThèmes : ÉvaluationsAgents
EngiWorld, un benchmark de 1 301 tâches d’ingénierie, met en difficulté sept modèles de pointe
1 sourcemis à jour 30 sept.pertinence 3,4 sur5
L’essentiel
Il couvre 6 domaines et 26 logiciels professionnels. Le meilleur modèle obtient un EngiScore de 44,3 seulement, et 3,6 % des tentatives multilogiciels réussissent.
Propagation1 article, publié par HF Daily Papers le 30 sept..
Les sources
1 article
HF Daily PapersCommunauté : fiche de la sourceSource primaire
Hugging FaceHongcheng Gao, Hailong Qu, Yu Lei et al.huggingface.co
EngiWorld: What Can Frontier Agents Deliver in Professional Engineering Environments? (site externe)
1,301 expert-curated tasks spanning 6 engineering domains (CAD, CAE, CAM, BIM, EDA, and 3D visualization) and 26 professional software platforms, with both GUI and CLI interfaces and 6 task types ranging from software-selection to open-ended tasks.
Sur les mêmes thèmes
Agents
LangChain intègre un routeur de modèles à son agent open source Open SWE et réduit le coût médian
Évaluations
Microsoft publie ThinkingBox, un benchmark qui note les agents sur l’état final de la base de données
Agents
SkillSeek montre que BM25 rivalise avec la recherche agentique de skills pour les agents
Agents
Weave publie en open source Weave Router 2.0, qui oriente les agents de code vers différents modèles
À lire ensuite
Modèles
Google DeepMind annonce Gemini 4 Argon, déployé d’abord auprès de défenseurs cyber de confiance via Fairwind
Modèles
OpenAI lance GPT-6 Sol et GPT-6 Luna, deux modèles plus économiques qui complètent GPT-6 Astra
Modèles
Anthropic publie Claude Opus 5.5 et OpenAI lance GPT-6 Sol et GPT-6 Luna à environ une heure d’écart
Modèles
Anthropic lance Claude Sonnet 5.5, deuxième modèle de la famille Claude 5.5