Le filThèmes : ÉvaluationsAgentsRecherche
UndoBench sépare la compétence et la récupération après panne chez les agents d’IA qui utilisent des outils
1 sourcemis à jour il y a 1 jpertinence 3,4 sur5
L’essentiel
Dans l’étude sur l’accusé de réception perdu, la compétence nominale atteint 83,54 % et le taux de succès conditionnel de récupération tombe à 46,72 %. La nouvelle tentative naïve crée des effets externes en double dans 53,33 % des essais.
Propagation1 article, publié par HF Daily Papers le 6 oct..
Les sources
1 article
HF Daily PapersCommunauté : fiche de la sourceSource primaire
Hugging FaceDolly Sah, Tanmay Sah, Harshul Jain et al.huggingface.co
UndoBench: Separating Task Competence from Recovery Capability in Tool-Using AI Agents (site externe)
Tool-using AI agents are increasingly deployed across enterprise software systems, yet widely used benchmarks primarily evaluate nominal task completion, conflating baseline planning competence with operational fault recovery.
Sur les mêmes thèmes
Agents
SkillSeek montre que BM25 rivalise avec la recherche agentique de skills pour les agents
Agents
VeriHarness transforme le LLM d’un générateur en agent vérificateur pour les tâches longues
Agents
MILO fait évoluer des harnais d’agents et leur stratégie de recherche, et dépasse huit harnais de référence
Évaluations
Des chercheurs suggèrent que les modèles de langage tendent à présenter par défaut des récits de succès
À lire ensuite
Modèles
Google DeepMind annonce Gemini 4 Argon, déployé d’abord auprès de défenseurs cyber de confiance via Fairwind
Modèles
OpenAI lance GPT-6 Sol et GPT-6 Luna, deux modèles plus économiques qui complètent GPT-6 Astra
Modèles
Anthropic publie Claude Opus 5.5 et OpenAI lance GPT-6 Sol et GPT-6 Luna à environ une heure d’écart
Modèles
Anthropic lance Claude Sonnet 5.5, deuxième modèle de la famille Claude 5.5