Sản phẩm & ứng dụng

PawBench: trao cho tác nhân AI phổ quát một thước đo có thể định lượng

Tóm tắt AI

Phòng thí nghiệm Tongyi ra mắt chuẩn đánh giá mới PawBench v1.0, hướng tới kịch bản trợ lý cá nhân và tác nhân AI phổ quát, đưa mô hình nền và khung vận hành Harness vào cùng hệ thống để đánh giá chéo. Ma trận đánh giá gồm 9 mô hình và 3 Harness (Hermes, OpenClaw, QwenPaw), bao phủ 150 tác vụ thực tế với tổng 4050 đơn vị kiểm thử. Kết quả cho thấy QwenPaw (76.4 điểm), OpenClaw (75.4 điểm), Hermes (70.4 điểm) có khoảng cách đáng kể, ảnh hưởng của môi trường Harness thậm chí lớn hơn bản thân mô hình. PawBench còn qua phân tích cắt lớp tiết lộ khoảng cách then chốt của Harness ở xác minh sản phẩm, phát hiện chủ động Skill và khả dụng mặc định tìm kiếm web. Dự án đã mã nguồn mở.

Thông tin chính

  • Phòng thí nghiệm Tongyi ra mắt chuẩn đánh giá mới PawBench v1.
  • 0,hướng tới kịch bản trợ lý cá nhân và tác nhân AI phổ quát,đưa mô hình nền và khung vận hành…
  • Ma trận đánh giá gồm 9 mô hình và 3 Harness (Hermes,OpenClaw,QwenPaw),bao phủ 150 tác vụ thực tế…
  • Kết quả cho thấy QwenPaw (76.
  • 4 điểm),OpenClaw (75.

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
公众号:通义实验室(千问)
Danh mục
Sản phẩm & ứng dụng
Điểm AI
70
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

PawBench 把 Harness 从‘看不见的手’变成可诊断的变量,好 Harness 能让弱模型以下克上,这份评测对 Agent 框架开发者是一份必读的校验清单。

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: PawBench: trao cho tác nhân AI phổ quát một thước đo có thể định lượng. 5 tháng 6 2026. https://new.nat6.net/vi/news/cmq2o71l001imsl6nw5cypu9a/

Xem tất cả →