Mga produkto at aplikasyon

PawBench: bigyan ang general agent ng masusukat na panukat

AI summary

Inilunsad ng Tongyi Lab ang bagong evaluation benchmark na PawBench v1.0, na nakatuon sa personal assistant at general agent scenarios, at isinasama ang base model at runtime framework na Harness sa iisang sistema para sa cross-evaluation. Ang evaluation matrix ay may 9 na modelo at 3 Harness (Hermes, OpenClaw, QwenPaw), na sumasaklaw sa 150 tunay na gawain at kabuuang 4050 test unit. Ipinapakita ng resulta na may malaking agwat sa pagitan ng QwenPaw (76.4 puntos), OpenClaw (75.4 puntos), at Hermes (70.4 puntos), at ang epekto ng Harness environment sa performance ay mas malaki pa kaysa sa modelo mismo. Inihayag din ng PawBench sa pamamagitan ng slice analysis ang mga pangunahing agwat ng Harness sa product verification, proactive Skill discovery, at default availability ng Web search. Open source na ang proyekto.

Mahahalagang impormasyon

  • Inilunsad ng Tongyi Lab ang bagong evaluation benchmark na PawBench v1.
  • 0,na nakatuon sa personal assistant at general agent scenarios,at isinasama ang base model at…
  • Ang evaluation matrix ay may 9 na modelo at 3 Harness (Hermes,OpenClaw,QwenPaw),na sumasaklaw sa…
  • Ipinapakita ng resulta na may malaking agwat sa pagitan ng QwenPaw (76.
  • 4 puntos),OpenClaw (75.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
公众号:通义实验室(千问)
Kategorya
Mga produkto at aplikasyon
AI na marka
70
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

PawBench 把 Harness 从‘看不见的手’变成可诊断的变量,好 Harness 能让弱模型以下克上,这份评测对 Agent 框架开发者是一份必读的校验清单。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: PawBench: bigyan ang general agent ng masusukat na panukat. 5 Hunyo 2026. https://new.nat6.net/fil/news/cmq2o71l001imsl6nw5cypu9a/

Tingnan lahat →