DFlash: โมเดลร่างแบบบล็อกดิฟฟิวชันเพิ่มปริมาณงานสูงสุด 15 เท่า
หัวข้อต้นฉบับ:DFlash Speculative Decoding Drafts Whole Token Blocks in Parallel for Up to 15x Higher Throughput on NVIDIA Blackwell
สรุปโดย AI
DFlash พัฒนาโดยทีม UC San Diego เป็นโมเดลร่างแบบบล็อกดิฟฟิวชันน้ำหนักเบาสำหรับการถอดรหัสเชิงคาดการณ์ สร้างโทเค็นทั้งบล็อกในการส่งต่อหนึ่งครั้ง แล้วให้โมเดลเป้าหมายตรวจสอบแบบขนานเพื่อรับประกันผลลัพธ์ไม่สูญเสีย เทียบกับ EAGLE-3 DFlash ให้ความเร็วสูงสุด 2.5 เท่า และบนโมเดลต่างๆ เช่น Qwen3-8B ให้ความเร็ว无损เฉลี่ยเกิน 6 เท่า (MATH-500 ถึง 6.08×) บน NVIDIA Blackwell (TensorRT-LLM) โมเดล gpt-oss-120b เพิ่มปริมาณงานสูงสุด 15 เท่า ประมาณ 1.5 เท่าของ EAGLE-3 นวัตกรรมหลักคือการฉีดคุณลักษณะซ่อนหลายชั้นของโมเดลเป้าหมายเข้าสู่การฉาย Key-Value ของแต่ละชั้นในโมเดลร่าง ทำให้ความยาวที่ยอมรับเพิ่มขึ้นตามความลึกของโมเดลร่าง
ข้อมูลสำคัญ
- DFlash พัฒนาโดยทีม UC San Diego…
- 5 เท่า และบนโมเดลต่างๆ เช่น Qwen3-8B ให้ความเร็ว无损เฉลี่ยเกิน 6 เท่า (MATH-500 ถึง 6.
- 08×) บน NVIDIA Blackwell (TensorRT-LLM) โมเดล gpt-oss-120b เพิ่มปริมาณงานสูงสุด 15 เท่า ประมาณ 1.
- 5 เท่าของ EAGLE-3 นวัตกรรมหลักคือการฉีดคุณลักษณะซ่อนหลายชั้นของโมเดลเป้าหมายเข้าสู่การฉาย…
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- MarkTechPost(RSS)
- หมวดหมู่
- บทความและงานวิจัย
- คะแนน AI
- 74
DFlash把扩散模型引入推测解码草案阶段,一次并行生成整块token,单流加速最高6倍,NVIDIA实测吞吐量提升15倍,推理成本下降幅度很大,部署大模型的团队可以立刻关注。
เอนทิตีที่เกี่ยวข้อง
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: DFlash: โมเดลร่างแบบบล็อกดิฟฟิวชันเพิ่มปริมาณงานสูงสุด 15 เท่า 24 มิถุนายน 2026 https://new.nat6.net/th/news/cmqrrgnay0n08slp5phvdk394/