Produkte & Apps

PawBench: ein messbarer Maßstab für universelle Agenten

KI-Zusammenfassung

Das Tongyi Lab stellt mit PawBench v1.0 einen neuen Evaluierungsbenchmark für persönliche Assistenten und universelle Agenten vor, der Basismodelle und Laufzeit-Frameworks (Harness) in einem System kreuzweise bewertet. Die Evaluierungsmatrix umfasst 9 Modelle und 3 Harnesses (Hermes, OpenClaw, QwenPaw) sowie 150 reale Aufgaben mit insgesamt 4050 Testeinheiten. Die Ergebnisse zeigen deutliche Abstände zwischen QwenPaw (76,4 Punkte), OpenClaw (75,4 Punkte) und Hermes (70,4 Punkte); der Einfluss der Harness-Umgebung auf die Leistung ist sogar größer als der des Modells selbst. Durch Slice-Analysen deckt PawBench zudem zentrale Lücken der Harnesses bei der Produktvalidierung, der proaktiven Skill-Erkennung und der standardmäßigen Verfügbarkeit der Websuche auf. Das Projekt ist als Open Source verfügbar.

Kernpunkte

  • Das Tongyi Lab stellt mit PawBench v1.
  • 0 einen neuen Evaluierungsbenchmark für persönliche Assistenten und universelle Agenten vor,der…
  • Die Evaluierungsmatrix umfasst 9 Modelle und 3 Harnesses (Hermes,OpenClaw,QwenPaw) sowie 150 reale…
  • Die Ergebnisse zeigen deutliche Abstände zwischen QwenPaw (76,4 Punkte),OpenClaw (75,4 Punkte) und…
  • der Einfluss der Harness-Umgebung auf die Leistung ist sogar größer als der des Modells selbst.

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
公众号:通义实验室(千问)
Kategorie
Produkte & Apps
KI-Bewertung
70
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

PawBench 把 Harness 从‘看不见的手’变成可诊断的变量,好 Harness 能让弱模型以下克上,这份评测对 Agent 框架开发者是一份必读的校验清单。

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: PawBench: ein messbarer Maßstab für universelle Agenten. 5. Juni 2026. https://new.nat6.net/de/news/cmq2o71l001imsl6nw5cypu9a/

Alle ansehen →