เร่งความเร็ว 3 เท่าบน Google TPU: UCSD ใช้การถอดรหัสแบบคาดเดาด้วยการแพร่เพื่อเพิ่มประสิทธิภาพการอนุมาน LLM
หัวข้อต้นฉบับ:Supercharging LLM inference on Google TPUs: Achieving 3X speedups with diffusion-style speculative decoding
สรุปโดย AI
ทีมวิจัยจากมหาวิทยาลัยแคลิฟอร์เนีย ซานดิเอโก ประสบความสำเร็จในการติดตั้ง DFlash ซึ่งเป็นวิธีการถอดรหัสแบบคาดเดาที่อิงการแพร่แบบบล็อก บน Google TPU วิธีนี้ก้าวข้ามคอขวดเชิงลำดับของการสร้างฉบับร่างแบบอัตถดถอยดั้งเดิม โดย "วาด" บล็อกโทเคนผู้สมัครทั้งหมดแบบขนานในการส่งต่อเพียงครั้งเดียว แทนการทำนายทีละโทเคน ระบบทำความเร็วในการอนุมานได้เฉลี่ย 3.13 เท่า และประสิทธิภาพสูงสุดใกล้เคียงสองเท่าของวิธีที่มีอยู่เช่น EAGLE-3 โซลูชันโอเพนซอร์สนี้ผสานรวมเข้ากับระบบนิเวศ vLLM แล้ว โดยใช้ประโยชน์จากความสามารถในการตรวจสอบแบบขนานที่ "ฟรี" และการทำนายฉบับร่างคุณภาพสูงสำหรับงานอนุมานที่ซับซ้อน เพื่อเพิ่มประสิทธิภาพการใช้ฮาร์ดแวร์ TPU อย่างมีนัยสำคัญ
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- Google Developers Blog(RSS)
- หมวดหมู่
- บทความและงานวิจัย
- คะแนน AI
- 66
把扩散式的 speculative decoding 在 TPU 上跑出了 3 倍推理加速,峰值快到 EAGLE-3 的两倍,还直接集成了 vLLM,做推理优化的赶紧试一下。
เอนทิตีที่เกี่ยวข้อง
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: เร่งความเร็ว 3 เท่าบน Google TPU: UCSD ใช้การถอดรหัสแบบคาดเดาด้วยการแพร่เพื่อเพิ่มประสิทธิภาพการอนุมาน LLM 4 พฤษภาคม 2026 https://new.nat6.net/th/news/cmorfwui900bbslahbt29u50b/