งานวิจัยของ Dwarkesh Patel: ความก้าวหน้าการฝึกอบรมล่วงหน้าส่วนใหญ่มาจากการปรับปรุงข้อมูล
หัวข้อต้นฉบับ:Pretraining progress is mostly coming from data
สรุปโดย AI
Dwarkesh Patel เผยแพร่การวิเคราะห์การทดลอง ฝึกสูตรโมเดลและคลังข้อมูลตัวแทนแต่ละปีตั้งแต่ 2019 ถึง 2025 ภายใต้งบประมาณพลังประมวลผลสูงสุด 1e19 FLOPs พบว่าการปรับปรุงข้อมูลนำมาซึ่งประสิทธิภาพพลังประมวลผลเพิ่มขึ้น 12.0x การปรับปรุงโมเดล 3.7x โดยข้อมูลมีส่วนสนับสนุนประมาณ 3.24 เท่าของโมเดล
ข้อมูลสำคัญ
- Dwarkesh Patel เผยแพร่การวิเคราะห์การทดลอง ฝึกสูตรโมเดลและคลังข้อมูลตัวแทนแต่ละปีตั้งแต่ 2019 ถึง…
- 0x การปรับปรุงโมเดล 3.
- 7x โดยข้อมูลมีส่วนสนับสนุนประมาณ 3.
- 24 เท่าของโมเดล
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- Dwarkesh Patel:Podcast & Blog(RSS)
- หมวดหมู่
- บทความและงานวิจัย
- คะแนน AI
- 60
文章用小规模对照实验量化了 2019 到 2025 年预训练进步中数据与模型改进各自的算力效率贡献,并讨论结论对更大规模模型的适用边界。
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: งานวิจัยของ Dwarkesh Patel: ความก้าวหน้าการฝึกอบรมล่วงหน้าส่วนใหญ่มาจากการปรับปรุงข้อมูล 9 กันยายน 2026 https://new.nat6.net/th/news/cmtsx0wm4041jrob5liwjypsq/