Xiaohongshu ร่วมกับ Peking University และ SJTU เสนอ HYPIC ให้โมเดลภาษาขนาดใหญ่แบบ mixed attention ใช้แคชที่ไม่ขึ้นกับตำแหน่ง ลดความหน่วงโทเคนแรก 3.25 เท่า
หัวข้อต้นฉบับ:首 token 延迟降 3.25 倍!小红书联合北大、上交提出 HYPIC,让混合注意力大模型用上「位置无关缓存」
สรุปโดย AI
Xiaohongshu ร่วมกับ Peking University และ Shanghai Jiao Tong University เสนอ HYPIC ระบบให้บริการแรกที่ใช้แคชที่ไม่ขึ้นกับตำแหน่งบนโมเดลภาษาขนาดใหญ่แบบ mixed attention บนโมเดล mixed attention ระดับโปรดักชัน 4 ตัวและ workload 5 แบบ HYPIC ลดความหน่วงโทเคนแรก (TTFT) เฉลี่ย 3.25 เท่า เพิ่ม QPS ที่รองรับได้อย่างต่อเนื่องภายใต้ SLO เดียวกัน 1.66 เท่า และคุณภาพงานต่างจากการคำนวณใหม่ทั้งหมดเพียง 1.71 คะแนน ระบบนี้ใช้ตัวดำเนินการถ่ายโอนสะสมส่วนแคชเพื่อรวมสถานะเลเยอร์เชิงเส้นในเวลาคงที่ และใช้หน้าต่างเย็บเพื่อแก้การจัดแนวข้ามส่วนของเลเยอร์ full attention
ข้อมูลสำคัญ
- Xiaohongshu ร่วมกับ Peking University และ Shanghai Jiao Tong University เสนอ HYPIC…
- 25 เท่า เพิ่ม QPS ที่รองรับได้อย่างต่อเนื่องภายใต้ SLO เดียวกัน 1.
- 66 เท่า และคุณภาพงานต่างจากการคำนวณใหม่ทั้งหมดเพียง 1.
- 71 คะแนน ระบบนี้ใช้ตัวดำเนินการถ่ายโอนสะสมส่วนแคชเพื่อรวมสถานะเลเยอร์เชิงเส้นในเวลาคงที่…
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- 公众号:小红书技术(dots.llm)
- หมวดหมู่
- บทความและงานวิจัย
- คะแนน AI
- 75
此前位置无关缓存无法用于混合注意力模型,HYPIC 通过缓存转移算子与缝合窗口首次实现,RAG 场景 TTFT 降低 3.25 倍,开源代码为推理系统提供了可复用的加速路径。
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: Xiaohongshu ร่วมกับ Peking University และ SJTU เสนอ HYPIC ให้โมเดลภาษาขนาดใหญ่แบบ mixed attention ใช้แคชที่ไม่ขึ้นกับตำแหน่ง ลดความหน่วงโทเคนแรก 3.25 เท่า 16 กรกฎาคม 2026 https://new.nat6.net/th/news/cmsdu108a00ufrofz01bxk6m3/