Bài báo & nghiên cứu

Tăng tốc 3 lần trên Google TPU: UCSD tối ưu hóa suy luận LLM bằng giải mã suy đoán khuếch tán

Tiêu đề gốc:Supercharging LLM inference on Google TPUs: Achieving 3X speedups with diffusion-style speculative decoding

Tóm tắt AI

Nhóm nghiên cứu tại Đại học California San Diego đã triển khai thành công DFlash trên Google TPU, một phương pháp giải mã suy đoán dựa trên khuếch tán khối. Phương pháp này phá vỡ nút thắt tuần tự của việc tạo bản nháp tự hồi quy truyền thống, thông qua một lần lan truyền tiến song song "vẽ" toàn bộ khối token ứng viên, thay vì dự đoán từng cái một. Hệ thống đạt tốc độ tăng tốc suy luận trung bình 3,13 lần, hiệu suất đỉnh gần gấp đôi các phương pháp hiện có như EAGLE-3. Giải pháp mã nguồn mở này đã được tích hợp vào hệ sinh thái vLLM, thông qua việc tận dụng khả năng xác minh song song "miễn phí" và dự đoán bản nháp chất lượng cao cho các nhiệm vụ suy luận phức tạp, tối ưu hóa đáng kể hiệu quả sử dụng phần cứng TPU.

Thông tin chính

  • Nhóm nghiên cứu tại Đại học California San Diego đã triển khai thành công DFlash trên Google…
  • Phương pháp này phá vỡ nút thắt tuần tự của việc tạo bản nháp tự hồi quy truyền thống,thông qua…
  • Hệ thống đạt tốc độ tăng tốc suy luận trung bình 3,13 lần,hiệu suất đỉnh gần gấp đôi các phương…
  • Giải pháp mã nguồn mở này đã được tích hợp vào hệ sinh thái vLLM,thông qua việc tận dụng khả năng…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
Google Developers Blog(RSS)
Danh mục
Bài báo & nghiên cứu
Điểm AI
66
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

把扩散式的 speculative decoding 在 TPU 上跑出了 3 倍推理加速,峰值快到 EAGLE-3 的两倍,还直接集成了 vLLM,做推理优化的赶紧试一下。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Tăng tốc 3 lần trên Google TPU: UCSD tối ưu hóa suy luận LLM bằng giải mã suy đoán khuếch tán. 4 tháng 5 2026. https://new.nat6.net/vi/news/cmorfwui900bbslahbt29u50b/

Xem tất cả →