Produits et applications

PawBench : une mesure étalon pour les agents généralistes

Résumé IA

Le laboratoire Tongyi lance PawBench v1.0, un nouveau benchmark destiné aux assistants personnels et aux agents généralistes, qui évalue conjointement le modèle de base et le framework d'exécution Harness. La matrice d'évaluation comprend 9 modèles et 3 Harness (Hermes, OpenClaw, QwenPaw), couvrant 150 tâches réelles et 4050 unités de test. Les résultats montrent des écarts significatifs entre QwenPaw (76,4 points), OpenClaw (75,4 points) et Hermes (70,4 points), l'environnement Harness ayant un impact sur les performances supérieur à celui du modèle lui-même. PawBench révèle aussi, par analyse par tranches, des écarts clés du Harness en matière de validation des artefacts, de découverte proactive des Skills et de disponibilité par défaut de la recherche web. Le projet est open source.

Points clés

  • Le laboratoire Tongyi lance PawBench v1.
  • 0,un nouveau benchmark destiné aux assistants personnels et aux agents généralistes,qui évalue…
  • La matrice d'évaluation comprend 9 modèles et 3 Harness (Hermes,OpenClaw,QwenPaw),couvrant 150…
  • Les résultats montrent des écarts significatifs entre QwenPaw (76,4 points),OpenClaw (75,4 points)…
  • PawBench révèle aussi,par analyse par tranches,des écarts clés du Harness en matière de validation…

En bref

Publié
Mis à jour
Source
公众号:通义实验室(千问)
Catégorie
Produits et applications
Score IA
70
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

PawBench 把 Harness 从‘看不见的手’变成可诊断的变量,好 Harness 能让弱模型以下克上,这份评测对 Agent 框架开发者是一份必读的校验清单。

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : PawBench : une mesure étalon pour les agents généralistes. 5. juin 2026. https://new.nat6.net/fr/news/cmq2o71l001imsl6nw5cypu9a/

Tout voir →