Le filThèmes : ÉvaluationsAgentsRecherche
AutoSciBench génère automatiquement des benchmarks pour évaluer les agents scientifiques
1 sourcemis à jour il y a 12 hpertinence 3,3 sur5
L’essentiel
Le framework est évalué en biologie computationnelle, en science des matériaux et en imagerie clinique. Ses benchmarks font baisser la précision moyenne des solveurs de 22,4 et 25,5 points dans les deux premiers domaines.
Propagation1 article, publié par HF Daily Papers le 7 oct..
Les sources
1 article
HF Daily PapersCommunauté : fiche de la sourceSource primaire
Hugging FaceDongki Kim, Namkyeong Lee, Surag Nair et al.huggingface.co
AutoSciBench: Autonomous Benchmark Generation for Evaluating Scientific Agents (site externe)
As agents rapidly evolve, existing benchmarks can become saturated, limiting their ability to distinguish capabilities and reveal remaining failure modes.
Sur les mêmes thèmes
Agents
SkillSeek montre que BM25 rivalise avec la recherche agentique de skills pour les agents
Agents
VeriHarness transforme le LLM d’un générateur en agent vérificateur pour les tâches longues
Agents
MILO fait évoluer des harnais d’agents et leur stratégie de recherche, et dépasse huit harnais de référence
Évaluations
Des chercheurs suggèrent que les modèles de langage tendent à présenter par défaut des récits de succès
À lire ensuite
Modèles
Google DeepMind annonce Gemini 4 Argon, déployé d’abord auprès de défenseurs cyber de confiance via Fairwind
Modèles
OpenAI lance GPT-6 Sol et GPT-6 Luna, deux modèles plus économiques qui complètent GPT-6 Astra
Modèles
Anthropic publie Claude Opus 5.5 et OpenAI lance GPT-6 Sol et GPT-6 Luna à environ une heure d’écart
Modèles
Anthropic lance Claude Sonnet 5.5, deuxième modèle de la famille Claude 5.5