PawBench: Memberi ejen AI umum kayu ukur yang boleh diukur
Ringkasan AI
Makmal Tongyi memperkenalkan penanda aras baharu PawBench v1.0, yang menyasarkan senario pembantu peribadi dan ejen AI umum, dengan memasukkan model asas dan rangka kerja pelaksanaan Harness ke dalam sistem yang sama untuk penilaian silang. Matriks penilaian merangkumi 9 model dan 3 Harness (Hermes, OpenClaw, QwenPaw), meliputi 150 tugasan sebenar dengan 4050 unit ujian. Keputusan menunjukkan jurang ketara antara QwenPaw (76.4 mata), OpenClaw (75.4 mata) dan Hermes (70.4 mata), malah pengaruh persekitaran Harness terhadap prestasi lebih besar daripada model itu sendiri. PawBench turut mendedahkan melalui analisis irisan jurang utama Harness dalam pengesahan artifak, penemuan Skill secara proaktif dan ketersediaan lalai carian Web. Projek ini telah disumber terbuka.
Maklumat penting
- Makmal Tongyi memperkenalkan penanda aras baharu PawBench v1.
- 0,yang menyasarkan senario pembantu peribadi dan ejen AI umum,dengan memasukkan model asas dan…
- Matriks penilaian merangkumi 9 model dan 3 Harness (Hermes,OpenClaw,QwenPaw),meliputi 150 tugasan…
- Keputusan menunjukkan jurang ketara antara QwenPaw (76.
- 4 mata),OpenClaw (75.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- 公众号:通义实验室(千问)
- Kategori
- Produk & Aplikasi
- Skor AI
- 70
PawBench 把 Harness 从‘看不见的手’变成可诊断的变量,好 Harness 能让弱模型以下克上,这份评测对 Agent 框架开发者是一份必读的校验清单。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: PawBench: Memberi ejen AI umum kayu ukur yang boleh diukur. 5 Jun 2026. https://new.nat6.net/ms/news/cmq2o71l001imsl6nw5cypu9a/