ความเห็นและบทวิเคราะห์

เราเจาะระบบการทดสอบมาตรฐานเอเจนต์ AI ชั้นนำได้อย่างไร และมุมมองในอนาคต

หัวข้อต้นฉบับ:How We Broke Top AI Agent Benchmarks: And What Comes Next

สรุปโดย AI

ทีมวิจัยจากเบิร์กลีย์พัฒนาเอเจนต์สแกนอัตโนมัติเพื่อตรวจสอบการทดสอบมาตรฐานเอเจนต์ AI ชั้นนำ 8 รายการ เช่น SWE-bench และ WebArena อย่างเป็นระบบ และพบว่าทั้งหมดมีช่องโหว่ที่ถูกใช้ประโยชน์ได้ ด้วยการแก้ไขการตั้งค่าการทดสอบ ฝังตัวห่อโทรจัน และอ่านคำตอบมาตรฐาน เอเจนต์นี้ได้คะแนนเต็ม 100% ในการทดสอบ Terminal-Bench และ SWE-bench Verified โดยไม่ได้แก้ไขงานใดจริง และได้ใกล้ 100% ใน WebArena งานวิจัยเผยให้เห็นข้อบกพร่องด้านความปลอดภัยเชิงระบบในกลไกการให้คะแนนการทดสอบมาตรฐาน AI ในปัจจุบัน คะแนนสูงไม่ได้หมายถึงความสามารถจริง

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
Berkeley RDI:Blog(AI 安全与评测)
หมวดหมู่
ความเห็นและบทวิเคราะห์
คะแนน AI
87
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

伯克利团队从内部挨个拆解了八大主流基准,发现全都能被零能力 agent 打满分。这不只是打脸,他们给出了一份评估构建清单,以后做基准的人必须过了这一关才算及格。

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: เราเจาะระบบการทดสอบมาตรฐานเอเจนต์ AI ชั้นนำได้อย่างไร และมุมมองในอนาคต 8 เมษายน 2026 https://new.nat6.net/th/news/cmnxbjlqu00apsln09alcqies/

ดูทั้งหมด →