บทความและงานวิจัย

DFlash: โมเดลร่างแบบบล็อกดิฟฟิวชันเพิ่มปริมาณงานสูงสุด 15 เท่า

หัวข้อต้นฉบับ:DFlash Speculative Decoding Drafts Whole Token Blocks in Parallel for Up to 15x Higher Throughput on NVIDIA Blackwell

สรุปโดย AI

DFlash พัฒนาโดยทีม UC San Diego เป็นโมเดลร่างแบบบล็อกดิฟฟิวชันน้ำหนักเบาสำหรับการถอดรหัสเชิงคาดการณ์ สร้างโทเค็นทั้งบล็อกในการส่งต่อหนึ่งครั้ง แล้วให้โมเดลเป้าหมายตรวจสอบแบบขนานเพื่อรับประกันผลลัพธ์ไม่สูญเสีย เทียบกับ EAGLE-3 DFlash ให้ความเร็วสูงสุด 2.5 เท่า และบนโมเดลต่างๆ เช่น Qwen3-8B ให้ความเร็ว无损เฉลี่ยเกิน 6 เท่า (MATH-500 ถึง 6.08×) บน NVIDIA Blackwell (TensorRT-LLM) โมเดล gpt-oss-120b เพิ่มปริมาณงานสูงสุด 15 เท่า ประมาณ 1.5 เท่าของ EAGLE-3 นวัตกรรมหลักคือการฉีดคุณลักษณะซ่อนหลายชั้นของโมเดลเป้าหมายเข้าสู่การฉาย Key-Value ของแต่ละชั้นในโมเดลร่าง ทำให้ความยาวที่ยอมรับเพิ่มขึ้นตามความลึกของโมเดลร่าง

ข้อมูลสำคัญ

  • DFlash พัฒนาโดยทีม UC San Diego…
  • 5 เท่า และบนโมเดลต่างๆ เช่น Qwen3-8B ให้ความเร็ว无损เฉลี่ยเกิน 6 เท่า (MATH-500 ถึง 6.
  • 08×) บน NVIDIA Blackwell (TensorRT-LLM) โมเดล gpt-oss-120b เพิ่มปริมาณงานสูงสุด 15 เท่า ประมาณ 1.
  • 5 เท่าของ EAGLE-3 นวัตกรรมหลักคือการฉีดคุณลักษณะซ่อนหลายชั้นของโมเดลเป้าหมายเข้าสู่การฉาย…

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
MarkTechPost(RSS)
หมวดหมู่
บทความและงานวิจัย
คะแนน AI
74
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

DFlash把扩散模型引入推测解码草案阶段,一次并行生成整块token,单流加速最高6倍,NVIDIA实测吞吐量提升15倍,推理成本下降幅度很大,部署大模型的团队可以立刻关注。

เอนทิตีที่เกี่ยวข้อง

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: DFlash: โมเดลร่างแบบบล็อกดิฟฟิวชันเพิ่มปริมาณงานสูงสุด 15 เท่า 24 มิถุนายน 2026 https://new.nat6.net/th/news/cmqrrgnay0n08slp5phvdk394/

ดูทั้งหมด →