บทความและงานวิจัย

HYPIC: Xiaohongshu ร่วมกับ Peking University และ SJTU เสนอระบบแคชที่ไม่ขึ้นกับตำแหน่งสำหรับโมเดลภาษาขนาดใหญ่แบบผสมความสนใจเป็นครั้งแรก

หัวข้อต้นฉบับ:首 token 延迟降 3.25 倍!小红书联合北大、上交提出 HYPIC,让混合注意力大模型用上「位置无关缓存」

สรุปโดย AI

HYPIC บรรลุแคชที่ไม่ขึ้นกับตำแหน่งบนโมเดลภาษาขนาดใหญ่แบบผสมความสนใจ ลดความหน่วงของโทเคนแรกเฉลี่ย 3.25 เท่า บนโมเดลระดับโปรดักชัน 4 โมเดล ภายใต้ SLO เดียวกัน QPS ที่รองรับได้เพิ่มขึ้น 1.66 เท่า คุณภาพงานต่างจากการคำนวณใหม่ทั้งหมดเพียง 1.71 คะแนน

ข้อมูลสำคัญ

  • HYPIC บรรลุแคชที่ไม่ขึ้นกับตำแหน่งบนโมเดลภาษาขนาดใหญ่แบบผสมความสนใจ ลดความหน่วงของโทเคนแรกเฉลี่ย 3.
  • 25 เท่า บนโมเดลระดับโปรดักชัน 4 โมเดล ภายใต้ SLO เดียวกัน QPS ที่รองรับได้เพิ่มขึ้น 1.
  • 66 เท่า คุณภาพงานต่างจากการคำนวณใหม่ทั้งหมดเพียง 1.
  • 71 คะแนน

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
公众号:小红书技术(dots.llm)
หมวดหมู่
บทความและงานวิจัย
คะแนน AI
77
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

混合注意力模型终于有了可用的位置无关缓存方案,HYPIC 用转移算子缓存和缝合窗口解决了长期兼容难题,对长上下文推理服务的加速意义重大,做推理 infra 的团队可以马上看论文和代码。

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: HYPIC: Xiaohongshu ร่วมกับ Peking University และ SJTU เสนอระบบแคชที่ไม่ขึ้นกับตำแหน่งสำหรับโมเดลภาษาขนาดใหญ่แบบผสมความสนใจเป็นครั้งแรก 16 กรกฎาคม 2026 https://new.nat6.net/th/news/cmrnclu0101cgbic6rpcgkw8s/

ดูทั้งหมด →