Xiaohongshu bersama Peking University dan SJTU mengusulkan HYPIC, memungkinkan model besar perhatian hibrida menggunakan cache independen posisi, latensi token pertama turun 3,25 kali
Judul asli:首 token 延迟降 3.25 倍!小红书联合北大、上交提出 HYPIC,让混合注意力大模型用上「位置无关缓存」
Ringkasan AI
Xiaohongshu bersama Universitas Peking dan Universitas Jiao Tong Shanghai mengusulkan HYPIC, sistem layanan pertama yang mewujudkan cache independen posisi pada model besar perhatian hibrida. Pada 4 model perhatian hibrida tingkat produksi dan 5 beban kerja, HYPIC menurunkan latensi token pertama (TTFT) rata-rata 3,25 kali, meningkatkan QPS berkelanjutan 1,66 kali pada SLO yang sama, dengan kualitas tugas hanya berbeda 1,71 poin dari perhitungan ulang penuh. Sistem ini mewujudkan komposisi status waktu konstan lapisan linear melalui operator transfer akumulatif segmen cache, dan memperbaiki penyelarasan lintas segmen lapisan perhatian penuh dengan jendela jahitan.
Poin utama
- Xiaohongshu bersama Universitas Peking dan Universitas Jiao Tong Shanghai mengusulkan HYPIC,sistem…
- Pada 4 model perhatian hibrida tingkat produksi dan 5 beban kerja,HYPIC menurunkan latensi token…
- Sistem ini mewujudkan komposisi status waktu konstan lapisan linear melalui operator transfer…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- 公众号:小红书技术(dots.llm)
- Kategori
- Makalah & Riset
- Skor AI
- 75
此前位置无关缓存无法用于混合注意力模型,HYPIC 通过缓存转移算子与缝合窗口首次实现,RAG 场景 TTFT 降低 3.25 倍,开源代码为推理系统提供了可复用的加速路径。
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Xiaohongshu bersama Peking University dan SJTU mengusulkan HYPIC, memungkinkan model besar perhatian hibrida menggunakan cache independen posisi, latensi token pertama turun 3,25 kali. 16 Juli 2026. https://new.nat6.net/id/news/cmsdu108a00ufrofz01bxk6m3/