NVIDIA NeMo AutoModel: เร่งการปรับแต่งโมเดล Transformer MoE ด้วยโค้ดบรรทัดเดียว
หัวข้อต้นฉบับ:Accelerating Transformers Fine-Tuning with NVIDIA NeMo AutoModel
สรุปโดย AI
NVIDIA NeMo AutoModel เป็นไลบรารีโอเพนซอร์สบน Transformers v5 เพิ่ม Expert Parallelism, การจัดตาราง all-to-all แบบหลอมรวม DeepEP และเคอร์เนล TransformerEngine ในการปรับแต่งโมเดล MoE เทียบกับ v5 ดั้งเดิม ปริมาณงานการฝึกเพิ่มขึ้น 3.4–3.7 เท่า หน่วยความจำ GPU ลดลง 29–32% โดยเปลี่ยนเพียง import บรรทัดเดียว บน 16 โหนด 128 การ์ด H100 เมื่อปรับแต่งเต็ม Nemotron 3 Ultra 550B A55B v5 ไม่สามารถทำงานได้เนื่องจากหน่วยความจำไม่พอ ขณะที่ AutoModel ทำให้การฝึกเป็นไปได้ด้วยการขนานผู้เชี่ยวชาญ EP=64 โมเดล MoE 30B บนโหนดเดียว (เช่น Qwen3-30B-A3B) ก็ได้ประโยชน์ด้านประสิทธิภาพที่วัดได้เช่นกัน
ข้อมูลสำคัญ
- NVIDIA NeMo AutoModel เป็นไลบรารีโอเพนซอร์สบน Transformers v5 เพิ่ม Expert Parallelism
- การจัดตาราง all-to-all แบบหลอมรวม DeepEP และเคอร์เนล TransformerEngine ในการปรับแต่งโมเดล MoE…
- 7 เท่า หน่วยความจำ GPU ลดลง 29–32% โดยเปลี่ยนเพียง import บรรทัดเดียว บน 16 โหนด 128 การ์ด H100…
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- Hugging Face 社区博客(混合发现)
- หมวดหมู่
- บทแนะนำและเทคนิค
- คะแนน AI
- 66
英伟达的 NeMo AutoModel 把 MoE 模型微调速度提高了三倍多,内存省了近三分之一,代码只需改一行 import,做训练的可以立刻升级。
เอนทิตีที่เกี่ยวข้อง
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: NVIDIA NeMo AutoModel: เร่งการปรับแต่งโมเดล Transformer MoE ด้วยโค้ดบรรทัดเดียว 25 มิถุนายน 2026 https://new.nat6.net/th/news/cmqs9yjcy0187slfupnhipvhf/