製品とアプリ

Tencent Hunyuan AI Infraが新たにオープンソース化:HPC-Ops推論コア演算子を全面アップグレード

AI 要約

Tencent Hunyuan AI Infraチームは推論演算子ライブラリHPC-Opsをオープンソース化してアップグレードし、5つのコア演算子を発表した。Attentionは実行時の動的負荷スケジューリングを採用し、長文で最大2.95倍高速化、エンドツーエンドのQPMは17%向上。Router GEMMはデュアルBF16の組み合わせでFP32精度を実現し、CuBLAS FP32比で最大3.22倍高速化。FusedMoEはvLLM、SGLang比で1.2~1.6倍の性能向上。Fused AllReduce+Normは主流方案比で最大1.68倍高速化。Samplerはデコードサンプリングを2つのCUDA Kernelに融合し、vLLM比で4.0~7.5倍高速化。すべての機能は実運用に由来し、完全にオープンソース化されている。

要点

  • Tencent Hunyuan AI Infraチームは推論演算子ライブラリHPC-Opsをオープンソース化してアップグレードし、5つのコア演算子を発表した。
  • Attentionは実行時の動的負荷スケジューリングを採用し、長文で最大2.
  • 95倍高速化、エンドツーエンドのQPMは17%向上。
  • Router GEMMはデュアルBF16の組み合わせでFP32精度を実現し、CuBLAS FP32比で最大3.
  • 22倍高速化。

概要

公開日時
更新日時
出典
公众号:腾讯混元
カテゴリ
製品とアプリ
AI スコア
78
原文を読む 情報源で全文を読む
おすすめの理由

腾讯混元把推理全链路的瓶颈都加速了一遍,Sampler 算子比 vLLM 快 4-7 倍,Attention 动态调度根治长尾延迟,这套开源算子库可以直接用,做推理部署的可以抄作业。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:Tencent Hunyuan AI Infraが新たにオープンソース化:HPC-Ops推論コア演算子を全面アップグレード。2026年6月11日。https://new.nat6.net/ja/news/cmq99cd9g09skslldniw7u2ub/

すべて見る →