Bài báo & nghiên cứu

DFlash: Mô hình nháp khuếch tán khối đạt mức tăng thông lượng tối đa 15 lần

Tiêu đề gốc:DFlash Speculative Decoding Drafts Whole Token Blocks in Parallel for Up to 15x Higher Throughput on NVIDIA Blackwell

Tóm tắt AI

DFlash do nhóm UC San Diego đề xuất, là mô hình nháp khuếch tán khối nhẹ dùng cho giải mã suy đoán. Nó sinh toàn bộ khối token trong một lần suy luận tiến, sau đó mô hình đích xác minh song song, đảm bảo đầu ra không mất mát. So với EAGLE-3, DFlash đạt tốc độ nhanh nhất 2.5 lần, trên nhiều mô hình như Qwen3-8B tốc độ tăng trung bình không mất mát vượt 6 lần (MATH-500 đạt 6.08×). Trên NVIDIA Blackwell (TensorRT-LLM), mô hình gpt-oss-120b tăng thông lượng tối đa 15 lần, khoảng 1.5 lần của EAGLE-3. Đổi mới cốt lõi là đưa đặc trưng ẩn nhiều lớp của mô hình đích vào phép chiếu Key-Value từng lớp của mô hình nháp, khiến độ dài chấp nhận tăng theo độ sâu mô hình nháp.

Thông tin chính

  • DFlash do nhóm UC San Diego đề xuất,là mô hình nháp khuếch tán khối nhẹ dùng cho giải mã suy đoán.
  • Nó sinh toàn bộ khối token trong một lần suy luận tiến,sau đó mô hình đích xác minh song song,đảm…
  • So với EAGLE-3,DFlash đạt tốc độ nhanh nhất 2.
  • 5 lần,trên nhiều mô hình như Qwen3-8B tốc độ tăng trung bình không mất mát vượt 6 lần (MATH-500…
  • Trên NVIDIA Blackwell (TensorRT-LLM),mô hình gpt-oss-120b tăng thông lượng tối đa 15 lần,khoảng 1.

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
MarkTechPost(RSS)
Danh mục
Bài báo & nghiên cứu
Điểm AI
74
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

DFlash把扩散模型引入推测解码草案阶段,一次并行生成整块token,单流加速最高6倍,NVIDIA实测吞吐量提升15倍,推理成本下降幅度很大,部署大模型的团队可以立刻关注。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: DFlash: Mô hình nháp khuếch tán khối đạt mức tăng thông lượng tối đa 15 lần. 24 tháng 6 2026. https://new.nat6.net/vi/news/cmqrrgnay0n08slp5phvdk394/

Xem tất cả →