PawBench: ein messbarer Maßstab für universelle Agenten
KI-Zusammenfassung
Das Tongyi Lab stellt mit PawBench v1.0 einen neuen Evaluierungsbenchmark für persönliche Assistenten und universelle Agenten vor, der Basismodelle und Laufzeit-Frameworks (Harness) in einem System kreuzweise bewertet. Die Evaluierungsmatrix umfasst 9 Modelle und 3 Harnesses (Hermes, OpenClaw, QwenPaw) sowie 150 reale Aufgaben mit insgesamt 4050 Testeinheiten. Die Ergebnisse zeigen deutliche Abstände zwischen QwenPaw (76,4 Punkte), OpenClaw (75,4 Punkte) und Hermes (70,4 Punkte); der Einfluss der Harness-Umgebung auf die Leistung ist sogar größer als der des Modells selbst. Durch Slice-Analysen deckt PawBench zudem zentrale Lücken der Harnesses bei der Produktvalidierung, der proaktiven Skill-Erkennung und der standardmäßigen Verfügbarkeit der Websuche auf. Das Projekt ist als Open Source verfügbar.
Kernpunkte
- Das Tongyi Lab stellt mit PawBench v1.
- 0 einen neuen Evaluierungsbenchmark für persönliche Assistenten und universelle Agenten vor,der…
- Die Evaluierungsmatrix umfasst 9 Modelle und 3 Harnesses (Hermes,OpenClaw,QwenPaw) sowie 150 reale…
- Die Ergebnisse zeigen deutliche Abstände zwischen QwenPaw (76,4 Punkte),OpenClaw (75,4 Punkte) und…
- der Einfluss der Harness-Umgebung auf die Leistung ist sogar größer als der des Modells selbst.
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- 公众号:通义实验室(千问)
- Kategorie
- Produkte & Apps
- KI-Bewertung
- 70
PawBench 把 Harness 从‘看不见的手’变成可诊断的变量,好 Harness 能让弱模型以下克上,这份评测对 Agent 框架开发者是一份必读的校验清单。
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: PawBench: ein messbarer Maßstab für universelle Agenten. 5. Juni 2026. https://new.nat6.net/de/news/cmq2o71l001imsl6nw5cypu9a/