Le filThèmes : ÉvaluationsAgentsRecherche
TraceDance construit automatiquement des benchmarks de comportement d’agents à partir de traces réelles
1 sourcemis à jour 29 sept.pertinence 3,8 sur5
L’essentiel
Testé sur 252 557 sessions, le système produit 107 benchmarks de 4 125 instances. Neuf modèles de pointe obtiennent un taux de réussite moyen de 26,7 % seulement sur les points de décision évalués.
Propagation1 article, publié par HF Daily Papers le 29 sept..
Les sources
1 article
HF Daily PapersCommunauté : fiche de la sourceSource primaire
Hugging FaceDehai Min, Daoan Zhang, Yiming Zeng et al.huggingface.co
TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces (site externe)
An agent can complete a task while exhibiting undesirable behavior during execution. Developers need tests for the specific behaviors encountered in deployment, beyond fixed benchmark suites.
Sur les mêmes thèmes
Agents
SkillSeek montre que BM25 rivalise avec la recherche agentique de skills pour les agents
Agents
VeriHarness transforme le LLM d’un générateur en agent vérificateur pour les tâches longues
Agents
MILO fait évoluer des harnais d’agents et leur stratégie de recherche, et dépasse huit harnais de référence
Évaluations
Des chercheurs suggèrent que les modèles de langage tendent à présenter par défaut des récits de succès
À lire ensuite
Modèles
Google DeepMind annonce Gemini 4 Argon, déployé d’abord auprès de défenseurs cyber de confiance via Fairwind
Modèles
OpenAI lance GPT-6 Sol et GPT-6 Luna, deux modèles plus économiques qui complètent GPT-6 Astra
Modèles
Anthropic publie Claude Opus 5.5 et OpenAI lance GPT-6 Sol et GPT-6 Luna à environ une heure d’écart
Modèles
Anthropic lance Claude Sonnet 5.5, deuxième modèle de la famille Claude 5.5