Kertas penyelidikan

HYPIC: Xiaohongshu bersama Universiti Peking dan Universiti Shanghai Jiao Tong cadang sistem cache bebas kedudukan model besar perhatian hibrid pertama

Tajuk asal:首 token 延迟降 3.25 倍!小红书联合北大、上交提出 HYPIC,让混合注意力大模型用上「位置无关缓存」

Ringkasan AI

HYPIC merealisasikan cache bebas kedudukan pada model besar perhatian hibrid, mengurangkan kependaman token pertama secara purata 3.25 kali. Pada 4 model bertaraf pengeluaran, QPS mampan di bawah SLO yang sama meningkat 1.66 kali, dengan kualiti tugas hanya berbeza 1.71 mata berbanding pengiraan semula sepenuhnya.

Maklumat penting

  • HYPIC merealisasikan cache bebas kedudukan pada model besar perhatian hibrid,mengurangkan…
  • 25 kali.
  • Pada 4 model bertaraf pengeluaran,QPS mampan di bawah SLO yang sama meningkat 1.
  • 66 kali,dengan kualiti tugas hanya berbeza 1.
  • 71 mata berbanding pengiraan semula sepenuhnya.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
公众号:小红书技术(dots.llm)
Kategori
Kertas penyelidikan
Skor AI
77
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

混合注意力模型终于有了可用的位置无关缓存方案,HYPIC 用转移算子缓存和缝合窗口解决了长期兼容难题,对长上下文推理服务的加速意义重大,做推理 infra 的团队可以马上看论文和代码。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: HYPIC: Xiaohongshu bersama Universiti Peking dan Universiti Shanghai Jiao Tong cadang sistem cache bebas kedudukan model besar perhatian hibrid pertama. 16 Julai 2026. https://new.nat6.net/ms/news/cmrnclu0101cgbic6rpcgkw8s/

Lihat Semua →