Stochastic KV Routing: การแชร์แคชตามทิศทางความลึกแบบปรับตัว
หัวข้อต้นฉบับ:Stochastic KV Routing: Enabling Adaptive Depth-Wise Cache Sharing
สรุปโดย AI
เพื่อลดค่าใช้จ่ายหน่วยความจำสูงของ KV cache ในการอนุมานโมเดลภาษาขนาดใหญ่ งานวิจัยเสนอวิธีการใหม่ที่ปรับแต่งตามมิติความลึกของโมเดล วิธีการนี้ใช้การกำหนดเส้นทาง KV แบบสุ่มเพื่อแชร์ KV cache แบบไดนามิกระหว่างชั้นต่าง ๆ ของโมเดล Transformer แทนการเก็บแคชเต็มรูปแบบแยกอิสระในแต่ละชั้น การทดลองแสดงว่าโดยรักษาคุณภาพของโมเดลให้แทบไม่เปลี่ยนแปลง วิธีการนี้สามารถลดการใช้หน่วยความจำของ KV cache ได้สูงถึง 50% และเสนอเส้นทางการปรับแต่งใหม่ที่เป็นอิสระจากเทคนิคการบีบอัดตามแกนเวลาและการคัดออกที่มีอยู่ เพื่อลดต้นทุนการให้บริการโมเดลขนาดใหญ่
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- Apple Machine Learning Research(RSS)
- หมวดหมู่
- บทความและงานวิจัย
- คะแนน AI
- 59
苹果这篇不走寻常路,从深度维度压缩KV缓存,是推理服务端降本的新思路,做LLM部署的值得一读。
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: Stochastic KV Routing: การแชร์แคชตามทิศทางความลึกแบบปรับตัว 5 พฤษภาคม 2026 https://new.nat6.net/th/news/cmot2xtld01vvslv77sxlkqqk/