अन्य

सर्किट अपडेट — सितंबर 2024: Anthropic टीम ने Transformer मॉडल में "सक्सेसर हेड्स" तंत्र का पता लगाया

मूल शीर्षक:Circuits Updates — September 2024

AI सारांश

Anthropic की व्याख्यात्मकता टीम ने सितंबर 2024 में अपनी प्रारंभिक शोध प्रगति साझा की, जिसमें Transformer मॉडल में व्यापक रूप से मौजूद "सक्सेसर हेड्स" पर केंद्रित चर्चा की गई। ये विशिष्ट अटेंशन हेड्स विशेष रूप से क्रमसूचक अनुक्रमों (जैसे संख्याएँ, सप्ताह के दिन, महीने) में उत्तराधिकार संबंधों को संभालने के लिए समर्पित हैं। शोध में भार जाँच, स्वतंत्र घटक विश्लेषण सहित चार पूरक विधियों का उपयोग करके पहचान की गई, जिनमें सर्वोच्च स्कोरिंग हेड लगभग 80% क्रमसूचक टोकन को उनके उत्तराधिकारी के रूप में सबसे संभावित रूप से मैप कर सका। विश्लेषण ने इन हेड्स में श्रेणी-संबंधित ब्लॉक संरचनाओं का भी खुलासा किया। टीम ने जोर दिया कि ये निष्कर्ष प्रारंभिक हैं और आने वाले महीनों में अधिक विस्तृत शोध प्रकाशित होने की उम्मीद है।

मुख्य जानकारी

  • Anthropic की व्याख्यात्मकता टीम ने सितंबर 2024 में अपनी प्रारंभिक शोध प्रगति साझा की,जिसमें…
  • सप्ताह के दिन,महीने) में उत्तराधिकार संबंधों को संभालने के लिए समर्पित हैं। शोध में भार…
  • जिनमें सर्वोच्च स्कोरिंग हेड लगभग 80% क्रमसूचक टोकन को उनके उत्तराधिकारी के रूप में सबसे संभावित…

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
Anthropic:Transformer Circuits(可解释性研究)
श्रेणी
अन्य
AI स्कोर
73
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

揭示Transformer内部机制,助力AI可解释性研究,对模型调试和安全有参考价值。

संबंधित एंटिटी

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: सर्किट अपडेट — सितंबर 2024: Anthropic टीम ने Transformer मॉडल में "सक्सेसर हेड्स" तंत्र का पता लगाया। 15 सितंबर 2024। https://new.nat6.net/hi/news/cmoegbh73006vslxxyk3g4rmm/

सभी देखें →