เปิดตัวโมเดล

NVIDIA เปิดตัว Nemotron-Labs-3-Puzzle-75B-A9B โมเดล MoE แบบบีบอัด เพิ่ม throughput เซิร์ฟเวอร์ 2.03 เท่า

หัวข้อต้นฉบับ:NVIDIA Releases Nemotron-Labs-3-Puzzle-75B-A9B: A Compressed Hybrid MoE LLM Delivering 2.03x Server Throughput at Matched User Throughput

สรุปโดย AI

NVIDIA เปิดตัว Nemotron-Labs-3-Puzzle-75B-A9B เวอร์ชันบีบอัดของ Nemotron-3-Super โดยลดพารามิเตอร์รวมจาก 120.7B เหลือ 75.3B และพารามิเตอร์ที่ใช้งานจาก 12.8B เหลือ 9.3B พร้อมคงโครงสร้างแบบผสม 88 บล็อก (Mamba 40, MoE 40, attention 8) บนโหนด 8×B200 ในสถานการณ์ 8K/64K ที่ throughput ผู้ใช้ ≥100 tok/s พบว่า throughput เซิร์ฟเวอร์เพิ่มขึ้น 2.03 เท่า บน H100 เครื่องเดียว การทำงานพร้อมกันที่ 1M token เพิ่มจาก 1 เป็น 8 และหน่วยความจำน้ำหนักลดจาก 70 GB เหลือ 44.5 GB วิธี Puzzle แบบวนซ้ำได้คะแนนเฉลี่ยสูงกว่าวิธีขั้นตอนเดียว 0.57 ข้อเสีย: Arena-Hard-V2 ลดลง 4.2 คะแนน และ SWE-Bench ลดลง 2.6 คะแนน Hugging Face มี checkpoint แบบ BF16, FP8 และ NVFP4

ข้อมูลสำคัญ

  • NVIDIA เปิดตัว Nemotron-Labs-3-Puzzle-75B-A9B เวอร์ชันบีบอัดของ Nemotron-3-Super…
  • 7B เหลือ 75.
  • 3B และพารามิเตอร์ที่ใช้งานจาก 12.
  • 8B เหลือ 9.
  • 3B พร้อมคงโครงสร้างแบบผสม 88 บล็อก (Mamba 40,MoE 40,attention 8) บนโหนด 8×B200 ในสถานการณ์ 8K/64K…

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
MarkTechPost(RSS)
หมวดหมู่
เปิดตัวโมเดล
คะแนน AI
70
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

把120B MoE压到75B后,同节点服务吞吐几乎翻倍,单张H100百万token并发从1涨到8。对长上下文RAG和AI编码助手这类对吞吐敏感的产品来说,这不是论文调优,是实打实的降本方案。

เอนทิตีที่เกี่ยวข้อง

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: NVIDIA เปิดตัว Nemotron-Labs-3-Puzzle-75B-A9B โมเดล MoE แบบบีบอัด เพิ่ม throughput เซิร์ฟเวอร์ 2.03 เท่า 9 กรกฎาคม 2026 https://new.nat6.net/th/news/cmrd9x7xz01wzih4bch5uoywh/

ดูทั้งหมด →