บทความและงานวิจัย

การสร้างคำถาม-คำตอบสังเคราะห์จาก Task Seed สำหรับการฝึกอบรมล่วงหน้าของ Nemotron

หัวข้อต้นฉบับ:Task-Seeded Synthetic Q&A Generation for Nemotron Pretraining

สรุปโดย AI

ในการทดลองฝึกอบรมต่อ 100B token ของโมเดล Nemotron-3 Nano การสร้างข้อมูลสังเคราะห์จาก Task Seed (Task-Seeded SDG) ทำให้ MMLU-Pro เพิ่มขึ้น 1.8 คะแนน โค้ดเฉลี่ยเพิ่มขึ้น 1.9 คะแนน ความเข้าใจทั่วไปเพิ่มขึ้น 1.6 คะแนน GPQA เพิ่มขึ้น 11.1 คะแนน และคะแนนคณิตศาสตร์คงที่ กระบวนการนี้ใช้ชุดฝึกอบรมของงานสาธารณะประมาณ 70 งาน (ประมาณ 700 งานย่อย) ใน lm-eval-harness เป็น seed สร้างตัวอย่างใหม่และเสริมการอนุมานและบริบท ผ่านการตรวจสอบรูปแบบ การลบข้อมูลซ้ำ และการยืนยันคำตอบ เพื่อให้ได้ชุดข้อมูลสังเคราะห์ที่คัดสรรแล้วสำหรับการฝึกอบรม Nemotron Ultra และ Super

ข้อมูลสำคัญ

  • ในการทดลองฝึกอบรมต่อ 100B token ของโมเดล Nemotron-3 Nano การสร้างข้อมูลสังเคราะห์จาก Task Seed…
  • 8 คะแนน โค้ดเฉลี่ยเพิ่มขึ้น 1.
  • 9 คะแนน ความเข้าใจทั่วไปเพิ่มขึ้น 1.
  • 6 คะแนน GPQA เพิ่มขึ้น 11.
  • 1 คะแนน และคะแนนคณิตศาสตร์คงที่ กระบวนการนี้ใช้ชุดฝึกอบรมของงานสาธารณะประมาณ 70 งาน (ประมาณ 700…

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
Hugging Face 社区博客(混合发现)
หมวดหมู่
บทความและงานวิจัย
คะแนน AI
68
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

NVIDIA 公开了 Nemotron 训练中造合成数据的详细方法论,用 70 个公开任务训练集做种子生成新题目,100B token 实验把 GPQA 拉高 11 个点,做预训练的人值得看看他们怎么造的数据。

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: การสร้างคำถาม-คำตอบสังเคราะห์จาก Task Seed สำหรับการฝึกอบรมล่วงหน้าของ Nemotron 4 มิถุนายน 2026 https://new.nat6.net/th/news/cmpzfevp50305slkpy89xsy0v/

ดูทั้งหมด →