HYPIC: Xiaohongshu ร่วมกับ Peking University และ SJTU เสนอระบบแคชที่ไม่ขึ้นกับตำแหน่งสำหรับโมเดลภาษาขนาดใหญ่แบบผสมความสนใจเป็นครั้งแรก
หัวข้อต้นฉบับ:首 token 延迟降 3.25 倍!小红书联合北大、上交提出 HYPIC,让混合注意力大模型用上「位置无关缓存」
สรุปโดย AI
HYPIC บรรลุแคชที่ไม่ขึ้นกับตำแหน่งบนโมเดลภาษาขนาดใหญ่แบบผสมความสนใจ ลดความหน่วงของโทเคนแรกเฉลี่ย 3.25 เท่า บนโมเดลระดับโปรดักชัน 4 โมเดล ภายใต้ SLO เดียวกัน QPS ที่รองรับได้เพิ่มขึ้น 1.66 เท่า คุณภาพงานต่างจากการคำนวณใหม่ทั้งหมดเพียง 1.71 คะแนน
ข้อมูลสำคัญ
- HYPIC บรรลุแคชที่ไม่ขึ้นกับตำแหน่งบนโมเดลภาษาขนาดใหญ่แบบผสมความสนใจ ลดความหน่วงของโทเคนแรกเฉลี่ย 3.
- 25 เท่า บนโมเดลระดับโปรดักชัน 4 โมเดล ภายใต้ SLO เดียวกัน QPS ที่รองรับได้เพิ่มขึ้น 1.
- 66 เท่า คุณภาพงานต่างจากการคำนวณใหม่ทั้งหมดเพียง 1.
- 71 คะแนน
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- 公众号:小红书技术(dots.llm)
- หมวดหมู่
- บทความและงานวิจัย
- คะแนน AI
- 77
混合注意力模型终于有了可用的位置无关缓存方案,HYPIC 用转移算子缓存和缝合窗口解决了长期兼容难题,对长上下文推理服务的加速意义重大,做推理 infra 的团队可以马上看论文和代码。
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: HYPIC: Xiaohongshu ร่วมกับ Peking University และ SJTU เสนอระบบแคชที่ไม่ขึ้นกับตำแหน่งสำหรับโมเดลภาษาขนาดใหญ่แบบผสมความสนใจเป็นครั้งแรก 16 กรกฎาคม 2026 https://new.nat6.net/th/news/cmrnclu0101cgbic6rpcgkw8s/