Produk & Aplikasi

Sumber terbuka baharu Tencent Hunyuan AI Infra: operator teras penaakulan HPC-Ops dinaik taraf menyeluruh

Ringkasan AI

Pasukan Tencent Hunyuan AI Infra menyumber terbuka dan menaik taraf pustaka operator penaakulan HPC-Ops, memperkenalkan lima operator teras. Attention menggunakan penjadualan beban dinamik semasa runtime, teks panjang mempercepat sehingga 2.95x, QPM hujung ke hujung meningkat 17%; Router GEMM menggunakan gabungan dwi BF16 untuk mencapai ketepatan FP32, berbanding CuBLAS FP32 mempercepat sehingga 3.22x; FusedMoE meningkatkan prestasi 1.2x~1.6x berbanding vLLM, SGLang; Fused AllReduce+Norm mempercepat sehingga 1.68x berbanding penyelesaian arus perdana; Sampler menggabungkan pensampelan penyahkodan kepada 2 CUDA Kernel, mempercepat 4.0x~7.5x berbanding vLLM. Semua keupayaan berasal daripada amalan pengeluaran dan disumber terbuka sepenuhnya.

Maklumat penting

  • Pasukan Tencent Hunyuan AI Infra menyumber terbuka dan menaik taraf pustaka operator penaakulan…
  • Attention menggunakan penjadualan beban dinamik semasa runtime,teks panjang mempercepat sehingga 2.
  • 95x,QPM hujung ke hujung meningkat 17%
  • Router GEMM menggunakan gabungan dwi BF16 untuk mencapai ketepatan FP32,berbanding CuBLAS FP32…
  • FusedMoE meningkatkan prestasi 1.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
公众号:腾讯混元
Kategori
Produk & Aplikasi
Skor AI
78
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

腾讯混元把推理全链路的瓶颈都加速了一遍,Sampler 算子比 vLLM 快 4-7 倍,Attention 动态调度根治长尾延迟,这套开源算子库可以直接用,做推理部署的可以抄作业。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Sumber terbuka baharu Tencent Hunyuan AI Infra: operator teras penaakulan HPC-Ops dinaik taraf menyeluruh. 11 Jun 2026. https://new.nat6.net/ms/news/cmq99cd9g09skslldniw7u2ub/

Lihat Semua →