Papers & Forschung

Xiaohongshu, Peking-Universität und SJTU stellen HYPIC vor: positionsunabhängiger Cache für große Modelle mit hybrider Attention, First-Token-Latenz um das 3,25-Fache gesenkt

Originaltitel:首 token 延迟降 3.25 倍!小红书联合北大、上交提出 HYPIC,让混合注意力大模型用上「位置无关缓存」

KI-Zusammenfassung

Xiaohongshu hat gemeinsam mit der Peking-Universität und der SJTU HYPIC vorgestellt, das erste Servicesystem, das positionsunabhängiges Caching für große Modelle mit hybrider Attention realisiert. Auf 4 produktionsreifen Modellen mit hybrider Attention und 5 Workloads senkt HYPIC die First-Token-Latenz (TTFT) im Durchschnitt um das 3,25-Fache und steigert den nachhaltig erreichbaren QPS unter gleichem SLO um das 1,66-Fache; die Aufgabenqualität weicht nur um 1,71 Punkte von einer vollständigen Neuberechnung ab. Das System realisiert die Zustandskombination der linearen Schichten in konstanter Zeit durch einen kumulativen Übertragungsoperator für Cache-Segmente und korrigiert die segmentübergreifende Ausrichtung der Full-Attention-Schichten mit einem Stitching-Fenster.

Kernpunkte

  • Xiaohongshu hat gemeinsam mit der Peking-Universität und der SJTU HYPIC vorgestellt,das erste…
  • Auf 4 produktionsreifen Modellen mit hybrider Attention und 5 Workloads senkt HYPIC die…
  • die Aufgabenqualität weicht nur um 1,71 Punkte von einer vollständigen Neuberechnung ab.
  • Das System realisiert die Zustandskombination der linearen Schichten in konstanter Zeit durch…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
公众号:小红书技术(dots.llm)
Kategorie
Papers & Forschung
KI-Bewertung
75
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

此前位置无关缓存无法用于混合注意力模型,HYPIC 通过缓存转移算子与缝合窗口首次实现,RAG 场景 TTFT 降低 3.25 倍,开源代码为推理系统提供了可复用的加速路径。

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Xiaohongshu, Peking-Universität und SJTU stellen HYPIC vor: positionsunabhängiger Cache für große Modelle mit hybrider Attention, First-Token-Latenz um das 3,25-Fache gesenkt. 16. Juli 2026. https://new.nat6.net/de/news/cmsdu108a00ufrofz01bxk6m3/

Alle ansehen →