เปิดตัวโมเดล

NVIDIA เปิดตัว Nemotron-Labs-TwoTower โมเดลภาษาดิฟฟิวชันน้ำหนักเปิด

หัวข้อต้นฉบับ:NVIDIA Releases Nemotron-Labs-TwoTower: an Open-Weight Diffusion Language Model Built on a Frozen Autoregressive Nemotron-3-Nano-30B-A3B Backbone

สรุปโดย AI

NVIDIA เปิดตัว Nemotron-Labs-TwoTower โมเดลภาษาดิฟฟิวชันที่อิงโครงกระดูก autoregressive ที่แช่แข็ง Nemotron-3-Nano-30B-A3B ใช้สถาปัตยกรรมสองหอ: หอบริบทแช่แข็ง หอตัวลดสัญญาณรบกวนฝึก ร่วมมือผ่าน cross-attention ที่จัดแนวชั้นและ state seeding ประเมิน BF16 บน 2×H100 รักษาคุณภาพ 98.7% ของพื้นฐาน AR เพิ่มปริมาณการสร้าง 2.42 เท่า (γ=0.8, ขนาดบล็อก S=16) ตัวลดสัญญาณรบกวนฝึกบนประมาณ 2.1T โทเคน โครงกระดูกใช้ 25T โทเคนพรีเทรน พารามิเตอร์รวมประมาณ 60B พารามิเตอร์ที่เปิดใช้งานต่อโทเคนประมาณ 3B/หอ รองรับโหมดถอดรหัสสามแบบ: ดิฟฟิวชัน, AR จำลอง และ AR

ข้อมูลสำคัญ

  • NVIDIA เปิดตัว Nemotron-Labs-TwoTower โมเดลภาษาดิฟฟิวชันที่อิงโครงกระดูก autoregressive ที่แช่แข็ง…
  • 7% ของพื้นฐาน AR เพิ่มปริมาณการสร้าง 2.
  • 42 เท่า (γ=0.
  • 8,ขนาดบล็อก S=16) ตัวลดสัญญาณรบกวนฝึกบนประมาณ 2.
  • 1T โทเคน โครงกระดูกใช้ 25T โทเคนพรีเทรน พารามิเตอร์รวมประมาณ 60B…

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
MarkTechPost(RSS)
หมวดหมู่
เปิดตัวโมเดล
คะแนน AI
73
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

NVIDIA这个TwoTower把扩散解码接在已有的AR骨干上,几乎无损质量却让吞吐翻倍,并且开源可商用,对批量文本生成的团队是实在的加速工具。

เอนทิตีที่เกี่ยวข้อง

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: NVIDIA เปิดตัว Nemotron-Labs-TwoTower โมเดลภาษาดิฟฟิวชันน้ำหนักเปิด 1 กรกฎาคม 2026 https://new.nat6.net/th/news/cmr1ti4v001xlsl8zovi1yoqa/

ดูทั้งหมด →