अन्य

Transformer के अवशेष धारा में विशेषाधिकार प्राप्त आधार सदिश

मूल शीर्षक:Privileged Bases in the Transformer Residual Stream

AI सारांश

शोध में Transformer मॉडलों की अवशेष धारा में "विशेषाधिकार प्राप्त आधार सदिश" की घटना पाई गई, अर्थात कुछ निर्देशांक दिशाओं में लगातार असामान्य रूप से बड़े सक्रियण मान प्रकट होते हैं, जो "विशेषाधिकार-रहित आधार" की सैद्धांतिक अपेक्षा के विपरीत है। प्रयोगों के माध्यम से शोधकर्ताओं ने इसका मूल कारण Adam ऑप्टिमाइज़र में प्रति-आयाम सामान्यकर्ता को ठहराया, न कि परत सामान्यीकरण या फ्लोटिंग-पॉइंट परिशुद्धता समस्या को। 20 करोड़ पैरामीटर वाले मॉडल में, विशिष्ट परतों में 20 से 60 आयामों के सक्रियण निरपेक्ष मान 6 से अधिक थे। शोध ने पहचान संकेतक के रूप में कर्टोसिस के उपयोग का भी प्रस्ताव रखा और पाया कि सक्रियण वितरण का कर्टोसिस सामान्यतः 3 से अधिक है, जो आधार सदिश समरूपता के भंग होने की और पुष्टि करता है।

मुख्य जानकारी

  • शोध में Transformer मॉडलों की अवशेष धारा में "विशेषाधिकार प्राप्त आधार सदिश" की घटना पाई गई,अर्थात…
  • जो "विशेषाधिकार-रहित आधार" की सैद्धांतिक अपेक्षा के विपरीत है। प्रयोगों के माध्यम से शोधकर्ताओं ने…
  • न कि परत सामान्यीकरण या फ्लोटिंग-पॉइंट परिशुद्धता समस्या को। 20 करोड़ पैरामीटर वाले मॉडल…

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
Anthropic:Transformer Circuits(可解释性研究)
श्रेणी
अन्य
AI स्कोर
73
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

揭示Transformer内部基依赖性的根源,帮助研究者改进模型可解释性。

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: Transformer के अवशेष धारा में विशेषाधिकार प्राप्त आधार सदिश। 16 मार्च 2023। https://new.nat6.net/hi/news/cmoegbh73007aslxxzrbpr56o/

सभी देखें →