PawBench:汎用エージェントに測定可能な尺度を
AI 要約
通義実験室は新評価ベンチマークPawBench v1.0を発表した。パーソナルアシスタントと汎用エージェントのシナリオを対象に、基盤モデルと実行フレームワークHarnessを同一体系に組み込み相互評価する。評価マトリクスは9モデルと3つのHarness(Hermes、OpenClaw、QwenPaw)を含み、150の実タスク、計4050のテストユニットをカバーする。結果はQwenPaw(76.4点)、OpenClaw(75.4点)、Hermes(70.4点)の間に有意な差があり、Harness環境が性能に与える影響はモデル自体よりも大きいことを示した。PawBenchはさらにスライス分析により、Harnessの成果物検証、Skillの能動的発見、Web検索のデフォルト可用性などにおける重要なギャップを明らかにした。プロジェクトはオープンソース化済み。
要点
- 通義実験室は新評価ベンチマークPawBench v1.
- 0を発表した。
- パーソナルアシスタントと汎用エージェントのシナリオを対象に、基盤モデルと実行フレームワークHarnessを同一体系に組み込み相互評価する。
- 評価マトリクスは9モデルと3つのHarness(Hermes、OpenClaw、QwenPaw)を含み、150の実タスク、計4050のテストユニットをカバーする。
- 結果はQwenPaw(76.
概要
- 公開日時
- 更新日時
- カテゴリ
- 製品とアプリ
- AI スコア
- 70
おすすめの理由
PawBench 把 Harness 从‘看不见的手’变成可诊断的变量,好 Harness 能让弱模型以下克上,这份评测对 Agent 框架开发者是一份必读的校验清单。
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:PawBench:汎用エージェントに測定可能な尺度を。2026年6月5日。https://new.nat6.net/ja/news/cmq2o71l001imsl6nw5cypu9a/