AI-प्रतिरोधी तकनीकी मूल्यांकन डिज़ाइन करने के अनुभव
मूल शीर्षक:Designing AI-resistant technical evaluations
AI सारांश
Anthropic की प्रदर्शन अनुकूलन टीम के प्रमुख Tristan Hume ने AI-प्रतिरोधी तकनीकी मूल्यांकन डिज़ाइन करने के अनुभव साझा किए। 2024 की शुरुआत से, टीम ने उम्मीदवारों की सिम्युलेटेड एक्सेलेरेटर कोड को अनुकूलित करने की क्षमता का मूल्यांकन करने के लिए टेक-होम टेस्ट का उपयोग किया, जिसमें 1000 से अधिक लोगों ने भाग लिया और कई दर्जन इंजीनियरों की भर्ती सफल रही। लेकिन Claude मॉडलों के तेजी से विकास के साथ, Opus 4 अधिकांश मानव आवेदकों से आगे निकल गया, और Opus 4.5 तो शीर्ष उम्मीदवारों के बराबर हो गया, जिससे समय सीमा के भीतर मानव और AI आउटपुट के बीच अंतर करना मुश्किल हो गया। इसलिए, लेखक ने तीन बार परीक्षण का पुनर्डिज़ाइन किया, AI-प्रतिरोधी मूल्यांकन तत्वों की खोज की, और मूल डिज़ाइन, मॉडल के तोड़ने के तरीकों तथा अपरंपरागत उपायों का विस्तार से वर्णन किया। अंत में, टीम ने मूल परीक्षण को एक सार्वजनिक चुनौती के रूप में जारी किया, क्योंकि बिना समय सीमा के मानव प्रदर्शन अभी भी Claude से बेहतर है।
मुख्य जानकारी
- Anthropic की प्रदर्शन अनुकूलन टीम के प्रमुख Tristan Hume ने AI-प्रतिरोधी तकनीकी मूल्यांकन डिज़ाइन…
- जिसमें 1000 से अधिक लोगों ने भाग लिया और कई दर्जन इंजीनियरों की भर्ती सफल रही। लेकिन Claude मॉडलों…
- 5 तो शीर्ष उम्मीदवारों के बराबर हो गया,जिससे समय सीमा के भीतर मानव और AI आउटपुट के बीच अंतर करना…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- श्रेणी
- विचार और समीक्षा
- AI स्कोर
- 72
Anthropic 性能优化负责人亲手写了三版面试题被自家模型逐一击穿的全过程,这种坦诚的工程复盘比任何 AI 能力排行榜都更真实地告诉你,模型到底强到了什么程度。
संबंधित एंटिटी
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: AI-प्रतिरोधी तकनीकी मूल्यांकन डिज़ाइन करने के अनुभव। 21 जनवरी 2026। https://new.nat6.net/hi/news/cmorb7ml0008dslhf40wkfniz/