บทความและงานวิจัย

งานวิจัยของ Dwarkesh Patel: ความก้าวหน้าการฝึกอบรมล่วงหน้าส่วนใหญ่มาจากการปรับปรุงข้อมูล

หัวข้อต้นฉบับ:Pretraining progress is mostly coming from data

สรุปโดย AI

Dwarkesh Patel เผยแพร่การวิเคราะห์การทดลอง ฝึกสูตรโมเดลและคลังข้อมูลตัวแทนแต่ละปีตั้งแต่ 2019 ถึง 2025 ภายใต้งบประมาณพลังประมวลผลสูงสุด 1e19 FLOPs พบว่าการปรับปรุงข้อมูลนำมาซึ่งประสิทธิภาพพลังประมวลผลเพิ่มขึ้น 12.0x การปรับปรุงโมเดล 3.7x โดยข้อมูลมีส่วนสนับสนุนประมาณ 3.24 เท่าของโมเดล

ข้อมูลสำคัญ

  • Dwarkesh Patel เผยแพร่การวิเคราะห์การทดลอง ฝึกสูตรโมเดลและคลังข้อมูลตัวแทนแต่ละปีตั้งแต่ 2019 ถึง…
  • 0x การปรับปรุงโมเดล 3.
  • 7x โดยข้อมูลมีส่วนสนับสนุนประมาณ 3.
  • 24 เท่าของโมเดล

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
Dwarkesh Patel:Podcast & Blog(RSS)
หมวดหมู่
บทความและงานวิจัย
คะแนน AI
60
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

文章用小规模对照实验量化了 2019 到 2025 年预训练进步中数据与模型改进各自的算力效率贡献,并讨论结论对更大规模模型的适用边界。

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: งานวิจัยของ Dwarkesh Patel: ความก้าวหน้าการฝึกอบรมล่วงหน้าส่วนใหญ่มาจากการปรับปรุงข้อมูล 9 กันยายน 2026 https://new.nat6.net/th/news/cmtsx0wm4041jrob5liwjypsq/

ดูทั้งหมด →