अन्य

विशेषता अंतःक्रिया के माध्यम से ध्यान गणना को ट्रेस करना

मूल शीर्षक:Tracing Attention Computation Through Feature Interactions

AI सारांश

शोध टीम ने “QK एट्रिब्यूशन” विधि प्रस्तावित की, जो Transformer ध्यान हेड के फ़ोकस पैटर्न को क्वेरी-पक्ष और कुंजी-पक्ष विशेषता सक्रियण के द्विरेखीय फलन के रूप में व्याख्यायित करती है और इसे मौजूदा एट्रिब्यूशन ग्राफ़ में एकीकृत करती है, जिससे पुरानी विधि द्वारा ध्यान गणना की महत्वपूर्ण जानकारी छोड़ने की कमी दूर होती है। केस अध्ययनों ने इंडक्शन हेड, विलोम कार्य आदि परिदृश्यों में पहले अनुमानित विशेषता अंतःक्रिया तंत्र की पुष्टि की, और “संगति हेड” द्वारा उचितता जाँच जैसे नए गणना पैटर्न खोजे। यह विधि मॉडल के फ़ॉरवर्ड प्रसार प्रक्रिया का अधिक पूर्ण व्याख्यात्मक कारण-ग्राफ़ विवरण प्रदान करती है।

मुख्य जानकारी

  • शोध टीम ने “QK एट्रिब्यूशन” विधि प्रस्तावित की,जो Transformer ध्यान हेड के फ़ोकस पैटर्न को…
  • जिससे पुरानी विधि द्वारा ध्यान गणना की महत्वपूर्ण जानकारी छोड़ने की कमी दूर होती है। केस अध्ययनों…
  • विलोम कार्य आदि परिदृश्यों में पहले अनुमानित विशेषता अंतःक्रिया तंत्र की पुष्टि की,और “संगति हेड”…

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
Anthropic:Transformer Circuits(可解释性研究)
श्रेणी
अन्य
AI स्कोर
76
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

Anthropic补齐可解释性方法论的关键拼图,有助于理解大模型内部推理机制

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: विशेषता अंतःक्रिया के माध्यम से ध्यान गणना को ट्रेस करना। 31 जुलाई 2025। https://new.nat6.net/hi/news/cmoegbh73006islxxhow5jyto/

सभी देखें →