論文・研究

小紅書、北京大学、上海交通大学がHYPICを提案:ハイブリッドアテンション大規模言語モデルで位置非依存キャッシュを実現、初回トークン遅延を3.25倍低減

原題:首 token 延迟降 3.25 倍!小红书联合北大、上交提出 HYPIC,让混合注意力大模型用上「位置无关缓存」

AI 要約

小紅書、北京大学、上海交通大学はHYPICを提案した。ハイブリッドアテンション大規模言語モデルで位置非依存キャッシュを実現する初のサービングシステムである。4つの本番級ハイブリッドアテンションモデル、5つのワークロードにおいて、HYPICは初回トークン遅延(TTFT)を平均3.25倍低減し、同一SLO下で持続可能なQPSを1.66倍向上させ、タスク品質は完全再計算との差がわずか1.71点だった。同システムはキャッシュセグメントの累積転送演算子により線形層の定数時間状態合成を実現し、縫合ウィンドウで全アテンション層のセグメント間アライメントを修正する。

要点

  • 小紅書、北京大学、上海交通大学はHYPICを提案した。
  • ハイブリッドアテンション大規模言語モデルで位置非依存キャッシュを実現する初のサービングシステムである。
  • 4つの本番級ハイブリッドアテンションモデル、5つのワークロードにおいて、HYPICは初回トークン遅延(TTFT)を平均3.
  • 25倍低減し、同一SLO下で持続可能なQPSを1.
  • 66倍向上させ、タスク品質は完全再計算との差がわずか1.

概要

公開日時
更新日時
出典
公众号:小红书技术(dots.llm)
カテゴリ
論文・研究
AI スコア
75
原文を読む 情報源で全文を読む
おすすめの理由

此前位置无关缓存无法用于混合注意力模型,HYPIC 通过缓存转移算子与缝合窗口首次实现,RAG 场景 TTFT 降低 3.25 倍,开源代码为推理系统提供了可复用的加速路径。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:小紅書、北京大学、上海交通大学がHYPICを提案:ハイブリッドアテンション大規模言語モデルで位置非依存キャッシュを実現、初回トークン遅延を3.25倍低減。2026年7月16日。https://new.nat6.net/ja/news/cmsdu108a00ufrofz01bxk6m3/

すべて見る →