เราเจาะระบบการทดสอบมาตรฐานเอเจนต์ AI ชั้นนำได้อย่างไร และมุมมองในอนาคต
หัวข้อต้นฉบับ:How We Broke Top AI Agent Benchmarks: And What Comes Next
สรุปโดย AI
ทีมวิจัยจากเบิร์กลีย์พัฒนาเอเจนต์สแกนอัตโนมัติเพื่อตรวจสอบการทดสอบมาตรฐานเอเจนต์ AI ชั้นนำ 8 รายการ เช่น SWE-bench และ WebArena อย่างเป็นระบบ และพบว่าทั้งหมดมีช่องโหว่ที่ถูกใช้ประโยชน์ได้ ด้วยการแก้ไขการตั้งค่าการทดสอบ ฝังตัวห่อโทรจัน และอ่านคำตอบมาตรฐาน เอเจนต์นี้ได้คะแนนเต็ม 100% ในการทดสอบ Terminal-Bench และ SWE-bench Verified โดยไม่ได้แก้ไขงานใดจริง และได้ใกล้ 100% ใน WebArena งานวิจัยเผยให้เห็นข้อบกพร่องด้านความปลอดภัยเชิงระบบในกลไกการให้คะแนนการทดสอบมาตรฐาน AI ในปัจจุบัน คะแนนสูงไม่ได้หมายถึงความสามารถจริง
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- Berkeley RDI:Blog(AI 安全与评测)
- หมวดหมู่
- ความเห็นและบทวิเคราะห์
- คะแนน AI
- 87
伯克利团队从内部挨个拆解了八大主流基准,发现全都能被零能力 agent 打满分。这不只是打脸,他们给出了一份评估构建清单,以后做基准的人必须过了这一关才算及格。
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: เราเจาะระบบการทดสอบมาตรฐานเอเจนต์ AI ชั้นนำได้อย่างไร และมุมมองในอนาคต 8 เมษายน 2026 https://new.nat6.net/th/news/cmnxbjlqu00apsln09alcqies/