NVIDIA เปิดตัว Nemotron-Labs-3-Puzzle-75B-A9B โมเดล MoE แบบบีบอัด เพิ่ม throughput เซิร์ฟเวอร์ 2.03 เท่า
หัวข้อต้นฉบับ:NVIDIA Releases Nemotron-Labs-3-Puzzle-75B-A9B: A Compressed Hybrid MoE LLM Delivering 2.03x Server Throughput at Matched User Throughput
สรุปโดย AI
NVIDIA เปิดตัว Nemotron-Labs-3-Puzzle-75B-A9B เวอร์ชันบีบอัดของ Nemotron-3-Super โดยลดพารามิเตอร์รวมจาก 120.7B เหลือ 75.3B และพารามิเตอร์ที่ใช้งานจาก 12.8B เหลือ 9.3B พร้อมคงโครงสร้างแบบผสม 88 บล็อก (Mamba 40, MoE 40, attention 8) บนโหนด 8×B200 ในสถานการณ์ 8K/64K ที่ throughput ผู้ใช้ ≥100 tok/s พบว่า throughput เซิร์ฟเวอร์เพิ่มขึ้น 2.03 เท่า บน H100 เครื่องเดียว การทำงานพร้อมกันที่ 1M token เพิ่มจาก 1 เป็น 8 และหน่วยความจำน้ำหนักลดจาก 70 GB เหลือ 44.5 GB วิธี Puzzle แบบวนซ้ำได้คะแนนเฉลี่ยสูงกว่าวิธีขั้นตอนเดียว 0.57 ข้อเสีย: Arena-Hard-V2 ลดลง 4.2 คะแนน และ SWE-Bench ลดลง 2.6 คะแนน Hugging Face มี checkpoint แบบ BF16, FP8 และ NVFP4
ข้อมูลสำคัญ
- NVIDIA เปิดตัว Nemotron-Labs-3-Puzzle-75B-A9B เวอร์ชันบีบอัดของ Nemotron-3-Super…
- 7B เหลือ 75.
- 3B และพารามิเตอร์ที่ใช้งานจาก 12.
- 8B เหลือ 9.
- 3B พร้อมคงโครงสร้างแบบผสม 88 บล็อก (Mamba 40,MoE 40,attention 8) บนโหนด 8×B200 ในสถานการณ์ 8K/64K…
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- MarkTechPost(RSS)
- หมวดหมู่
- เปิดตัวโมเดล
- คะแนน AI
- 70
把120B MoE压到75B后,同节点服务吞吐几乎翻倍,单张H100百万token并发从1涨到8。对长上下文RAG和AI编码助手这类对吞吐敏感的产品来说,这不是论文调优,是实打实的降本方案。
เอนทิตีที่เกี่ยวข้อง
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: NVIDIA เปิดตัว Nemotron-Labs-3-Puzzle-75B-A9B โมเดล MoE แบบบีบอัด เพิ่ม throughput เซิร์ฟเวอร์ 2.03 เท่า 9 กรกฎาคม 2026 https://new.nat6.net/th/news/cmrd9x7xz01wzih4bch5uoywh/