हमने शीर्ष AI Agent बेंचमार्क को कैसे तोड़ा और भविष्य की संभावनाएं
मूल शीर्षक:How We Broke Top AI Agent Benchmarks: And What Comes Next
AI सारांश
बर्कले शोध टीम ने स्वचालित स्कैनिंग एजेंट विकसित किया, SWE-bench, WebArena सहित आठ प्रमुख AI Agent बेंचमार्क का व्यवस्थित ऑडिट किया, और पाया कि सभी में शोषण योग्य कमियाँ हैं। परीक्षण कॉन्फ़िगरेशन बदलकर, ट्रोजन रैपर लगाकर, मानक उत्तर पढ़कर, इस एजेंट ने बिना कोई कार्य वास्तव में हल किए Terminal-Bench, SWE-bench Verified जैसे परीक्षणों में 100% पूर्ण अंक प्राप्त किए, WebArena में लगभग 100%। शोध ने वर्तमान AI बेंचमार्क स्कोरिंग तंत्र में प्रणालीगत सुरक्षा दोष उजागर किए, उच्च अंक का अर्थ वास्तविक क्षमता नहीं है।
मुख्य जानकारी
- बर्कले शोध टीम ने स्वचालित स्कैनिंग एजेंट विकसित किया,SWE-bench,WebArena सहित आठ प्रमुख AI Agent…
- ट्रोजन रैपर लगाकर,मानक उत्तर पढ़कर,इस एजेंट ने बिना कोई कार्य वास्तव में हल किए Terminal-Bench
- SWE-bench Verified जैसे परीक्षणों में 100% पूर्ण अंक प्राप्त किए,WebArena में लगभग 100%। शोध ने…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- श्रेणी
- विचार और समीक्षा
- AI स्कोर
- 87
伯克利团队从内部挨个拆解了八大主流基准,发现全都能被零能力 agent 打满分。这不只是打脸,他们给出了一份评估构建清单,以后做基准的人必须过了这一关才算及格。
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: हमने शीर्ष AI Agent बेंचमार्क को कैसे तोड़ा और भविष्य की संभावनाएं। 8 अप्रैल 2026। https://new.nat6.net/hi/news/cmnxbjlqu00apsln09alcqies/