HYPIC: Xiaohongshu bersama Universiti Peking dan Universiti Shanghai Jiao Tong cadang sistem cache bebas kedudukan model besar perhatian hibrid pertama
Tajuk asal:首 token 延迟降 3.25 倍!小红书联合北大、上交提出 HYPIC,让混合注意力大模型用上「位置无关缓存」
Ringkasan AI
HYPIC merealisasikan cache bebas kedudukan pada model besar perhatian hibrid, mengurangkan kependaman token pertama secara purata 3.25 kali. Pada 4 model bertaraf pengeluaran, QPS mampan di bawah SLO yang sama meningkat 1.66 kali, dengan kualiti tugas hanya berbeza 1.71 mata berbanding pengiraan semula sepenuhnya.
Maklumat penting
- HYPIC merealisasikan cache bebas kedudukan pada model besar perhatian hibrid,mengurangkan…
- 25 kali.
- Pada 4 model bertaraf pengeluaran,QPS mampan di bawah SLO yang sama meningkat 1.
- 66 kali,dengan kualiti tugas hanya berbeza 1.
- 71 mata berbanding pengiraan semula sepenuhnya.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- 公众号:小红书技术(dots.llm)
- Kategori
- Kertas penyelidikan
- Skor AI
- 77
混合注意力模型终于有了可用的位置无关缓存方案,HYPIC 用转移算子缓存和缝合窗口解决了长期兼容难题,对长上下文推理服务的加速意义重大,做推理 infra 的团队可以马上看论文和代码。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: HYPIC: Xiaohongshu bersama Universiti Peking dan Universiti Shanghai Jiao Tong cadang sistem cache bebas kedudukan model besar perhatian hibrid pertama. 16 Julai 2026. https://new.nat6.net/ms/news/cmrnclu0101cgbic6rpcgkw8s/