PawBench: измеримая линейка для универсальных агентов
ИИ-резюме
Лаборатория Tongyi представила новый бенчмарк PawBench v1.0 для сценариев персональных ассистентов и универсальных агентов, объединяющий базовые модели и среду исполнения Harness в единую систему перекрёстной оценки. Матрица включает 9 моделей и 3 Harness (Hermes, OpenClaw, QwenPaw) и охватывает 150 реальных задач — всего 4050 тестовых единиц. Результаты показали значительный разрыв между QwenPaw (76,4 балла), OpenClaw (75,4) и Hermes (70,4): влияние среды Harness на производительность оказалось даже больше, чем самой модели. Срезовая аналитика PawBench также выявила ключевые пробелы Harness в проверке артефактов, активном обнаружении Skill и доступности веб-поиска по умолчанию. Проект открыт.
Ключевые моменты
- Лаборатория Tongyi представила новый бенчмарк PawBench v1.
- 0 для сценариев персональных ассистентов и универсальных агентов,объединяющий базовые модели и…
- Матрица включает 9 моделей и 3 Harness (Hermes,OpenClaw,QwenPaw) и охватывает 150 реальных задач —…
- Результаты показали значительный разрыв между QwenPaw (76,4 балла),OpenClaw (75,4) и Hermes…
- Срезовая аналитика PawBench также выявила ключевые пробелы Harness в проверке артефактов,активном…
Кратко
- Опубликовано
- Обновлено
- Источник
- 公众号:通义实验室(千问)
- Категория
- Продукты и приложения
- Оценка ИИ
- 70
PawBench 把 Harness 从‘看不见的手’变成可诊断的变量,好 Harness 能让弱模型以下克上,这份评测对 Agent 框架开发者是一份必读的校验清单。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: PawBench: измеримая линейка для универсальных агентов. 5 июня 2026. https://new.nat6.net/ru/news/cmq2o71l001imsl6nw5cypu9a/