Tencent Hunyuan AI Infraが新たにオープンソース化:HPC-Ops推論コア演算子を全面アップグレード
AI 要約
Tencent Hunyuan AI Infraチームは推論演算子ライブラリHPC-Opsをオープンソース化してアップグレードし、5つのコア演算子を発表した。Attentionは実行時の動的負荷スケジューリングを採用し、長文で最大2.95倍高速化、エンドツーエンドのQPMは17%向上。Router GEMMはデュアルBF16の組み合わせでFP32精度を実現し、CuBLAS FP32比で最大3.22倍高速化。FusedMoEはvLLM、SGLang比で1.2~1.6倍の性能向上。Fused AllReduce+Normは主流方案比で最大1.68倍高速化。Samplerはデコードサンプリングを2つのCUDA Kernelに融合し、vLLM比で4.0~7.5倍高速化。すべての機能は実運用に由来し、完全にオープンソース化されている。
要点
- Tencent Hunyuan AI Infraチームは推論演算子ライブラリHPC-Opsをオープンソース化してアップグレードし、5つのコア演算子を発表した。
- Attentionは実行時の動的負荷スケジューリングを採用し、長文で最大2.
- 95倍高速化、エンドツーエンドのQPMは17%向上。
- Router GEMMはデュアルBF16の組み合わせでFP32精度を実現し、CuBLAS FP32比で最大3.
- 22倍高速化。
概要
腾讯混元把推理全链路的瓶颈都加速了一遍,Sampler 算子比 vLLM 快 4-7 倍,Attention 动态调度根治长尾延迟,这套开源算子库可以直接用,做推理部署的可以抄作业。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:Tencent Hunyuan AI Infraが新たにオープンソース化:HPC-Ops推論コア演算子を全面アップグレード。2026年6月11日。https://new.nat6.net/ja/news/cmq99cd9g09skslldniw7u2ub/