Produkte & Apps

Tencent Hunyuan AI Infra mit neuer Open-Source-Veröffentlichung: HPC-Ops-Inferenzkerne umfassend aktualisiert

KI-Zusammenfassung

Das Tencent-Hunyuan-AI-Infra-Team hat die HPC-Ops-Inferenzoperatorbibliothek als Open Source aktualisiert und fünf Kernoperatoren vorgestellt. Attention nutzt eine dynamische Laufzeit-Lastverteilung und beschleunigt lange Texte um bis zu 2,95x; der End-to-End-QPM steigt um 17 %. Router GEMM erreicht mit einer Kombination aus zwei BF16 FP32-Präzision und beschleunigt im Vergleich zu CuBLAS FP32 um bis zu 3,22x. FusedMoE erzielt gegenüber vLLM und SGLang 1,2x bis 1,6x mehr Leistung. Fused AllReduce+Norm beschleunigt gegenüber gängigen Lösungen um bis zu 1,68x. Der Sampler fusioniert die Dekodierungssammlung zu 2 CUDA-Kernels und beschleunigt gegenüber vLLM um 4,0x bis 7,5x. Alle Funktionen stammen aus der Produktion und sind vollständig Open Source.

Kernpunkte

  • Das Tencent-Hunyuan-AI-Infra-Team hat die HPC-Ops-Inferenzoperatorbibliothek als Open Source…
  • Attention nutzt eine dynamische Laufzeit-Lastverteilung und beschleunigt lange Texte um bis zu 2,95x
  • der End-to-End-QPM steigt um 17 %.
  • Router GEMM erreicht mit einer Kombination aus zwei BF16 FP32-Präzision und beschleunigt im…
  • FusedMoE erzielt gegenüber vLLM und SGLang 1,2x bis 1,6x mehr Leistung.

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
公众号:腾讯混元
Kategorie
Produkte & Apps
KI-Bewertung
78
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

腾讯混元把推理全链路的瓶颈都加速了一遍,Sampler 算子比 vLLM 快 4-7 倍,Attention 动态调度根治长尾延迟,这套开源算子库可以直接用,做推理部署的可以抄作业。

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Tencent Hunyuan AI Infra mit neuer Open-Source-Veröffentlichung: HPC-Ops-Inferenzkerne umfassend aktualisiert. 11. Juni 2026. https://new.nat6.net/de/news/cmq99cd9g09skslldniw7u2ub/

Alle ansehen →