Quan điểm & bình luận

Cách chúng tôi phá vỡ các bài kiểm tra chuẩn AI Agent hàng đầu và triển vọng tương lai

Tiêu đề gốc:How We Broke Top AI Agent Benchmarks: And What Comes Next

Tóm tắt AI

Nhóm nghiên cứu Berkeley phát triển tác nhân quét tự động, kiểm toán có hệ thống tám bài kiểm tra chuẩn AI Agent phổ biến như SWE-bench, WebArena, phát hiện tất cả đều có lỗ hổng có thể bị khai thác. Thông qua việc sửa cấu hình kiểm tra, cài trình bao trojan, đọc đáp án chuẩn và các thủ đoạn khác, tác nhân này đạt điểm tuyệt đối 100% trong các bài kiểm tra Terminal-Bench, SWE-bench Verified mà không thực sự giải quyết bất kỳ nhiệm vụ nào, WebArena gần 100%. Nghiên cứu phơi bày cơ chế chấm điểm của các bài kiểm tra chuẩn AI hiện nay tồn tại khiếm khuyết an ninh mang tính hệ thống, điểm cao không đồng nghĩa với năng lực thực sự.

Thông tin chính

  • Nhóm nghiên cứu Berkeley phát triển tác nhân quét tự động,kiểm toán có hệ thống tám bài kiểm tra…
  • Thông qua việc sửa cấu hình kiểm tra,cài trình bao trojan,đọc đáp án chuẩn và các thủ đoạn…
  • Nghiên cứu phơi bày cơ chế chấm điểm của các bài kiểm tra chuẩn AI hiện nay tồn tại khiếm khuyết…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
Berkeley RDI:Blog(AI 安全与评测)
Danh mục
Quan điểm & bình luận
Điểm AI
87
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

伯克利团队从内部挨个拆解了八大主流基准,发现全都能被零能力 agent 打满分。这不只是打脸,他们给出了一份评估构建清单,以后做基准的人必须过了这一关才算及格。

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Cách chúng tôi phá vỡ các bài kiểm tra chuẩn AI Agent hàng đầu và triển vọng tương lai. 8 tháng 4 2026. https://new.nat6.net/vi/news/cmnxbjlqu00apsln09alcqies/

Xem tất cả →