पेपर और शोध

Dwarkesh Patel का शोध: प्री-ट्रेनिंग में प्रगति मुख्य रूप से डेटा सुधार से

मूल शीर्षक:Pretraining progress is mostly coming from data

AI सारांश

Dwarkesh Patel ने एक प्रयोगात्मक विश्लेषण जारी किया, जिसमें अधिकतम 1e19 FLOPs के कंप्यूट बजट के तहत 2019 से 2025 तक के प्रत्येक वर्ष के प्रतिनिधि मॉडल रेसिपी और डेटा कॉर्पस पर प्रशिक्षण दिया गया। निष्कर्ष में पाया गया कि डेटा सुधार से 12.0x कंप्यूट दक्षता वृद्धि हुई, मॉडल सुधार से 3.7x, और डेटा का योगदान मॉडल से लगभग 3.24 गुना रहा।

मुख्य जानकारी

  • Dwarkesh Patel ने एक प्रयोगात्मक विश्लेषण जारी किया,जिसमें अधिकतम 1e19 FLOPs के कंप्यूट बजट के तहत…
  • 0x कंप्यूट दक्षता वृद्धि हुई,मॉडल सुधार से 3.
  • 7x,और डेटा का योगदान मॉडल से लगभग 3.
  • 24 गुना रहा।

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
Dwarkesh Patel:Podcast & Blog(RSS)
श्रेणी
पेपर और शोध
AI स्कोर
60
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

文章用小规模对照实验量化了 2019 到 2025 年预训练进步中数据与模型改进各自的算力效率贡献,并讨论结论对更大规模模型的适用边界。

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: Dwarkesh Patel का शोध: प्री-ट्रेनिंग में प्रगति मुख्य रूप से डेटा सुधार से। 9 सितंबर 2026। https://new.nat6.net/hi/news/cmtsx0wm4041jrob5liwjypsq/

सभी देखें →