अन्य

जनवरी 2025 सर्किट अपडेट: विरल ऑटोएनकोडर प्रशिक्षण विधि में सुधार

मूल शीर्षक:Circuits Updates — January 2025

AI सारांश

Anthropic की व्याख्यात्मकता टीम ने विरल ऑटोएनकोडर और क्रॉस-एनकोडर प्रशिक्षण विधियों में नवीनतम सुधार साझा किए। मुख्य अपडेट में JumpReLU सक्रियण फलन अपनाना, विरलता बढ़ाने और “मृत विशेषताओं” को कम करने के लिए हानि फलन में समायोजन, तथा विस्तृत पैरामीटर आरंभीकरण और अनुकूलन सेटिंग्स शामिल हैं। टीम ने Rajamanoharan आदि (2024) की तकनीक पर आधारित काम किया, पर ग्रेडिएंट प्रवाह और विरलता दंड पद को संशोधित किया। प्रमुख हाइपरपैरामीटर में λ_S लगभग 10, λ_P 3×10⁻⁶, और रैखिक वार्म-अप रणनीति शामिल है। इन सुधारों का उद्देश्य बाहरी शोध टीमों को एक प्रभावी प्रशिक्षण प्रारंभिक बिंदु देना है, और संबंधित परिणाम आने वाले महीनों में और प्रकाशित किए जाएँगे।

मुख्य जानकारी

  • Anthropic की व्याख्यात्मकता टीम ने विरल ऑटोएनकोडर और क्रॉस-एनकोडर प्रशिक्षण विधियों में नवीनतम…
  • तथा विस्तृत पैरामीटर आरंभीकरण और अनुकूलन सेटिंग्स शामिल हैं। टीम ने Rajamanoharan आदि (2024) की…
  • पर ग्रेडिएंट प्रवाह और विरलता दंड पद को संशोधित किया। प्रमुख हाइपरपैरामीटर में λ_S लगभग 10,λ_P…

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
Anthropic:Transformer Circuits(可解释性研究)
श्रेणी
अन्य
AI स्कोर
73
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

为AI可解释性研究者提供实用训练技巧,助力模型透明化。

संबंधित एंटिटी

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: जनवरी 2025 सर्किट अपडेट: विरल ऑटोएनकोडर प्रशिक्षण विधि में सुधार। 15 जनवरी 2025। https://new.nat6.net/hi/news/cmoegbh73006rslxxnc1843iz/

सभी देखें →