Makalah & Riset

Xiaohongshu bersama Peking University dan SJTU mengusulkan HYPIC, memungkinkan model besar perhatian hibrida menggunakan cache independen posisi, latensi token pertama turun 3,25 kali

Judul asli:首 token 延迟降 3.25 倍!小红书联合北大、上交提出 HYPIC,让混合注意力大模型用上「位置无关缓存」

Ringkasan AI

Xiaohongshu bersama Universitas Peking dan Universitas Jiao Tong Shanghai mengusulkan HYPIC, sistem layanan pertama yang mewujudkan cache independen posisi pada model besar perhatian hibrida. Pada 4 model perhatian hibrida tingkat produksi dan 5 beban kerja, HYPIC menurunkan latensi token pertama (TTFT) rata-rata 3,25 kali, meningkatkan QPS berkelanjutan 1,66 kali pada SLO yang sama, dengan kualitas tugas hanya berbeda 1,71 poin dari perhitungan ulang penuh. Sistem ini mewujudkan komposisi status waktu konstan lapisan linear melalui operator transfer akumulatif segmen cache, dan memperbaiki penyelarasan lintas segmen lapisan perhatian penuh dengan jendela jahitan.

Poin utama

  • Xiaohongshu bersama Universitas Peking dan Universitas Jiao Tong Shanghai mengusulkan HYPIC,sistem…
  • Pada 4 model perhatian hibrida tingkat produksi dan 5 beban kerja,HYPIC menurunkan latensi token…
  • Sistem ini mewujudkan komposisi status waktu konstan lapisan linear melalui operator transfer…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
公众号:小红书技术(dots.llm)
Kategori
Makalah & Riset
Skor AI
75
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

此前位置无关缓存无法用于混合注意力模型,HYPIC 通过缓存转移算子与缝合窗口首次实现,RAG 场景 TTFT 降低 3.25 倍,开源代码为推理系统提供了可复用的加速路径。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Xiaohongshu bersama Peking University dan SJTU mengusulkan HYPIC, memungkinkan model besar perhatian hibrida menggunakan cache independen posisi, latensi token pertama turun 3,25 kali. 16 Juli 2026. https://new.nat6.net/id/news/cmsdu108a00ufrofz01bxk6m3/

Lihat semua →