บทความและงานวิจัย

เร่งความเร็ว 3 เท่าบน Google TPU: UCSD ใช้การถอดรหัสแบบคาดเดาด้วยการแพร่เพื่อเพิ่มประสิทธิภาพการอนุมาน LLM

หัวข้อต้นฉบับ:Supercharging LLM inference on Google TPUs: Achieving 3X speedups with diffusion-style speculative decoding

สรุปโดย AI

ทีมวิจัยจากมหาวิทยาลัยแคลิฟอร์เนีย ซานดิเอโก ประสบความสำเร็จในการติดตั้ง DFlash ซึ่งเป็นวิธีการถอดรหัสแบบคาดเดาที่อิงการแพร่แบบบล็อก บน Google TPU วิธีนี้ก้าวข้ามคอขวดเชิงลำดับของการสร้างฉบับร่างแบบอัตถดถอยดั้งเดิม โดย "วาด" บล็อกโทเคนผู้สมัครทั้งหมดแบบขนานในการส่งต่อเพียงครั้งเดียว แทนการทำนายทีละโทเคน ระบบทำความเร็วในการอนุมานได้เฉลี่ย 3.13 เท่า และประสิทธิภาพสูงสุดใกล้เคียงสองเท่าของวิธีที่มีอยู่เช่น EAGLE-3 โซลูชันโอเพนซอร์สนี้ผสานรวมเข้ากับระบบนิเวศ vLLM แล้ว โดยใช้ประโยชน์จากความสามารถในการตรวจสอบแบบขนานที่ "ฟรี" และการทำนายฉบับร่างคุณภาพสูงสำหรับงานอนุมานที่ซับซ้อน เพื่อเพิ่มประสิทธิภาพการใช้ฮาร์ดแวร์ TPU อย่างมีนัยสำคัญ

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
Google Developers Blog(RSS)
หมวดหมู่
บทความและงานวิจัย
คะแนน AI
66
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

把扩散式的 speculative decoding 在 TPU 上跑出了 3 倍推理加速,峰值快到 EAGLE-3 的两倍,还直接集成了 vLLM,做推理优化的赶紧试一下。

เอนทิตีที่เกี่ยวข้อง

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: เร่งความเร็ว 3 เท่าบน Google TPU: UCSD ใช้การถอดรหัสแบบคาดเดาด้วยการแพร่เพื่อเพิ่มประสิทธิภาพการอนุมาน LLM 4 พฤษภาคม 2026 https://new.nat6.net/th/news/cmorfwui900bbslahbt29u50b/

ดูทั้งหมด →