अन्य

विरल मिश्रित रैखिक रूपांतरण (MOLT)

मूल शीर्षक:Sparse mixtures of linear transforms

AI सारांश

विरल मिश्रित रैखिक रूपांतरण (MOLT) एक विकासाधीन नई विधि है, जिसका उद्देश्य Transformer मॉडल में MLP परतों को प्रतिस्थापित करना है ताकि पिछली “ट्रांसकोडर” विधि की गणना-दक्षता और प्रतिनिधित्व-निष्ठा संबंधी सीमाओं को दूर किया जा सके। ट्रांसकोडर द्वारा विरल सक्रिय विशेषता सदिश सीखने के विपरीत, MOLT विरल सक्रिय रैखिक रूपांतरण सीखता है, जो सीधे अवशेष धारा पर रैखिक संक्रिया कर आउटपुट में योगदान देते हैं और शुद्ध गणना इकाइयों की तरह काम करते हैं। प्रारंभिक प्रयोगों से पता चलता है कि MOLT ट्रांसकोडर से अधिक गणना-कुशल और तंत्र-निष्ठ है, इसकी सक्रियण शर्तें व्याख्यायोग्य हैं, और यह परतों के बीच विशेषता रूपांतरण को समझने में सहायक है। यह विधि मिश्रित डिकोडर आर्किटेक्चर से संबंधित है, पर कम-रैंक मैट्रिक्स जैसी भिन्न पैरामीटरीकरण रणनीतियाँ अपनाती है।

मुख्य जानकारी

  • विरल मिश्रित रैखिक रूपांतरण (MOLT) एक विकासाधीन नई विधि है,जिसका उद्देश्य Transformer मॉडल में MLP…
  • MOLT विरल सक्रिय रैखिक रूपांतरण सीखता है,जो सीधे अवशेष धारा पर रैखिक संक्रिया कर आउटपुट में योगदान…
  • इसकी सक्रियण शर्तें व्याख्यायोग्य हैं,और यह परतों के बीच विशेषता रूपांतरण को समझने में सहायक है।…

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
Anthropic:Transformer Circuits(可解释性研究)
श्रेणी
अन्य
AI स्कोर
83
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

新可解释性方法让 AI 内部计算更透明,助力模型调试与安全研究。

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: विरल मिश्रित रैखिक रूपांतरण (MOLT)। 15 जून 2025। https://new.nat6.net/hi/news/cmoegbh73006kslxxnajfsi7t/

सभी देखें →