論文・研究

HYPIC:小紅書が北京大学・上海交通大学と共同で初のハイブリッドアテンション大規模モデル向け位置非依存キャッシュシステムを発表

原題:首 token 延迟降 3.25 倍!小红书联合北大、上交提出 HYPIC,让混合注意力大模型用上「位置无关缓存」

AI 要約

HYPIC はハイブリッドアテンション大規模モデル上で位置非依存キャッシュを実現し、初回トークンのレイテンシを平均 3.25 倍削減した。4 つの本番級モデルにおいて、同一 SLO 下で持続可能な QPS が 1.66 倍向上し、タスク品質は完全再計算との差がわずか 1.71 ポイントだった。

要点

  • HYPIC はハイブリッドアテンション大規模モデル上で位置非依存キャッシュを実現し、初回トークンのレイテンシを平均 3.
  • 25 倍削減した。
  • 4 つの本番級モデルにおいて、同一 SLO 下で持続可能な QPS が 1.
  • 66 倍向上し、タスク品質は完全再計算との差がわずか 1.
  • 71 ポイントだった

概要

公開日時
更新日時
出典
公众号:小红书技术(dots.llm)
カテゴリ
論文・研究
AI スコア
77
原文を読む 情報源で全文を読む
おすすめの理由

混合注意力模型终于有了可用的位置无关缓存方案,HYPIC 用转移算子缓存和缝合窗口解决了长期兼容难题,对长上下文推理服务的加速意义重大,做推理 infra 的团队可以马上看论文和代码。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:HYPIC:小紅書が北京大学・上海交通大学と共同で初のハイブリッドアテンション大規模モデル向け位置非依存キャッシュシステムを発表。2026年7月16日。https://new.nat6.net/ja/news/cmrnclu0101cgbic6rpcgkw8s/

すべて見る →