Xiaohongshu bersama PKU dan SJTU cadang HYPIC, benarkan model bahasa besar perhatian hibrid guna cache bebas kedudukan, kependaman token pertama turun 3.25 kali ganda
Tajuk asal:首 token 延迟降 3.25 倍!小红书联合北大、上交提出 HYPIC,让混合注意力大模型用上「位置无关缓存」
Ringkasan AI
Xiaohongshu bersama Universiti Peking dan Universiti Shanghai Jiao Tong mencadangkan HYPIC, sistem perkhidmatan pertama yang melaksanakan cache bebas kedudukan pada model bahasa besar perhatian hibrid. Pada 4 model perhatian hibrid gred pengeluaran dan 5 beban kerja, HYPIC mengurangkan kependaman token pertama (TTFT) secara purata 3.25 kali ganda, meningkatkan QPS mampan 1.66 kali ganda di bawah SLO yang sama, dengan kualiti tugasan hanya berbeza 1.71 mata berbanding pengiraan semula penuh. Sistem ini melaksanakan gabungan keadaan masa malar lapisan linear melalui pengendali pemindahan terkumpul segmen cache, dan menggunakan tetingkap jahitan untuk membaiki penjajaran merentas segmen lapisan perhatian penuh.
Maklumat penting
- Xiaohongshu bersama Universiti Peking dan Universiti Shanghai Jiao Tong mencadangkan HYPIC,sistem…
- Pada 4 model perhatian hibrid gred pengeluaran dan 5 beban kerja,HYPIC mengurangkan kependaman…
- 25 kali ganda,meningkatkan QPS mampan 1.
- 66 kali ganda di bawah SLO yang sama,dengan kualiti tugasan hanya berbeza 1.
- 71 mata berbanding pengiraan semula penuh.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- 公众号:小红书技术(dots.llm)
- Kategori
- Kertas penyelidikan
- Skor AI
- 75
此前位置无关缓存无法用于混合注意力模型,HYPIC 通过缓存转移算子与缝合窗口首次实现,RAG 场景 TTFT 降低 3.25 倍,开源代码为推理系统提供了可复用的加速路径。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Xiaohongshu bersama PKU dan SJTU cadang HYPIC, benarkan model bahasa besar perhatian hibrid guna cache bebas kedudukan, kependaman token pertama turun 3.25 kali ganda. 16 Julai 2026. https://new.nat6.net/ms/news/cmsdu108a00ufrofz01bxk6m3/