Le filThèmes : ÉvaluationsRecherche
PlaylistEval teste 17 juges vidéo-langage sur des collections d’environ 100 heures de vidéo
1 sourcemis à jour 30 sept.pertinence 2,8 sur5
L’essentiel
Le meilleur juge atteint 75,4 % de précision, contre 93,0 % d’accord avec les humains. La précision baisse quand la collection passe d’environ 1 heure à 100 heures de vidéo.
Propagation1 article, publié par HF Daily Papers le 30 sept..
Les sources
1 article
HF Daily PapersCommunauté : fiche de la sourceSource primaire
Hugging FaceShayekh Bin Islam, Hwanjun Songhuggingface.co
PlaylistEval: Can Video-Language Judges Be Trusted at Day Scale and Beyond? (site externe)
We benchmark 17 video-language judges from eight model families on PlaylistEval, covering 630 preference pairs across seven domains, with roughly 100 hours of video per domain.
Sur les mêmes thèmes
Évaluations
SkillSeek montre que BM25 rivalise avec la recherche agentique de skills pour les agents
Évaluations
VeriHarness transforme le LLM d’un générateur en agent vérificateur pour les tâches longues
Évaluations
Une étude montre que la date cachée dans les prompts système fait varier les évaluations de LLM
Évaluations
MILO fait évoluer des harnais d’agents et leur stratégie de recherche, et dépasse huit harnais de référence
À lire ensuite
Modèles
Google DeepMind annonce Gemini 4 Argon, déployé d’abord auprès de défenseurs cyber de confiance via Fairwind
Modèles
OpenAI lance GPT-6 Sol et GPT-6 Luna, deux modèles plus économiques qui complètent GPT-6 Astra
Modèles
Anthropic publie Claude Opus 5.5 et OpenAI lance GPT-6 Sol et GPT-6 Luna à environ une heure d’écart
Modèles
Anthropic lance Claude Sonnet 5.5, deuxième modèle de la famille Claude 5.5