नवंबर 2025 सर्किट अपडेट: हानि दबाव में मॉडल के बहुविकल्पीय प्रश्न व्यवहार तंत्र की व्याख्या
मूल शीर्षक:Circuits Updates — November 2025
AI सारांश
Anthropic की व्याख्यात्मकता टीम ने Claude 3.5 Haiku मॉडल के बहुविकल्पीय प्रश्न उत्तरों पर हानि दबाव के प्रभाव का अध्ययन किया। प्रयोग में 129 द्वि-विकल्प प्रश्नों का उपयोग किया गया, जब हानिकारक इरादे वाले वाक्य जोड़े गए तो मॉडल की सटीकता 100% से अचानक 48.1% तक गिर गई। तंत्र विश्लेषण दर्शाता है कि अटेंशन हेड में "इनकार" क्वेरी विशेषता और "हानि पहचान" प्रमुख विशेषता के बीच नकारात्मक अंतःक्रिया होती है, जो सही उत्तर पर मॉडल का ध्यान काफी कम कर देती है। केवल इस इनकार विशेषता को नकारात्मक रूप से नियंत्रित करने से सटीकता 93% तक बहाल हो सकती है। यह सिद्ध करता है कि मॉडल ने दबाव में तथ्यात्मक ज्ञान नहीं बदला, बल्कि अटेंशन तंत्र में हस्तक्षेप करके सक्रिय रूप से सही उत्तर देने से इनकार किया, जो मॉडल के इनकार व्यवहार को समझने के लिए नया दृष्टिकोण प्रदान करता है।
मुख्य जानकारी
- Anthropic की व्याख्यात्मकता टीम ने Claude 3.
- 5 Haiku मॉडल के बहुविकल्पीय प्रश्न उत्तरों पर हानि दबाव के प्रभाव का अध्ययन किया। प्रयोग में 129…
- 1% तक गिर गई। तंत्र विश्लेषण दर्शाता है कि अटेंशन हेड में "इनकार" क्वेरी विशेषता और "हानि पहचान"…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- श्रेणी
- अन्य
- AI स्कोर
- 83
揭示模型拒绝有害请求的内部机制,助力 AI 安全与可解释性研究。
संबंधित एंटिटी
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: नवंबर 2025 सर्किट अपडेट: हानि दबाव में मॉडल के बहुविकल्पीय प्रश्न व्यवहार तंत्र की व्याख्या। 15 नवंबर 2025। https://new.nat6.net/hi/news/cmoegbh73006bslxx7xgi1vdo/