บทความและงานวิจัย

Stochastic KV Routing: การแชร์แคชตามทิศทางความลึกแบบปรับตัว

หัวข้อต้นฉบับ:Stochastic KV Routing: Enabling Adaptive Depth-Wise Cache Sharing

สรุปโดย AI

เพื่อลดค่าใช้จ่ายหน่วยความจำสูงของ KV cache ในการอนุมานโมเดลภาษาขนาดใหญ่ งานวิจัยเสนอวิธีการใหม่ที่ปรับแต่งตามมิติความลึกของโมเดล วิธีการนี้ใช้การกำหนดเส้นทาง KV แบบสุ่มเพื่อแชร์ KV cache แบบไดนามิกระหว่างชั้นต่าง ๆ ของโมเดล Transformer แทนการเก็บแคชเต็มรูปแบบแยกอิสระในแต่ละชั้น การทดลองแสดงว่าโดยรักษาคุณภาพของโมเดลให้แทบไม่เปลี่ยนแปลง วิธีการนี้สามารถลดการใช้หน่วยความจำของ KV cache ได้สูงถึง 50% และเสนอเส้นทางการปรับแต่งใหม่ที่เป็นอิสระจากเทคนิคการบีบอัดตามแกนเวลาและการคัดออกที่มีอยู่ เพื่อลดต้นทุนการให้บริการโมเดลขนาดใหญ่

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
Apple Machine Learning Research(RSS)
หมวดหมู่
บทความและงานวิจัย
คะแนน AI
59
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

苹果这篇不走寻常路,从深度维度压缩KV缓存,是推理服务端降本的新思路,做LLM部署的值得一读。

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: Stochastic KV Routing: การแชร์แคชตามทิศทางความลึกแบบปรับตัว 5 พฤษภาคม 2026 https://new.nat6.net/th/news/cmot2xtld01vvslv77sxlkqqk/

ดูทั้งหมด →