Tencent Hunyuan AI Infra Sumber Terbuka Baru: Operator Inti Inferensi HPC-Ops Diperbarui Menyeluruh
Ringkasan AI
Tim Tencent Hunyuan AI Infra menyumber-terbukakan dan meningkatkan pustaka operator inferensi HPC-Ops, menghadirkan lima operator inti. Attention menggunakan penjadwalan beban dinamis saat runtime, dengan percepatan hingga 2,95x untuk teks panjang dan peningkatan QPM end-to-end sebesar 17%; Router GEMM menggunakan kombinasi dual BF16 untuk mencapai presisi FP32, dengan percepatan hingga 3,22x dibandingkan CuBLAS FP32; FusedMoE meningkatkan performa 1,2x–1,6x dibandingkan vLLM dan SGLang; Fused AllReduce+Norm mempercepat hingga 1,68x dibandingkan solusi utama; Sampler menggabungkan pengambilan sampel dekode menjadi 2 CUDA Kernel, dengan percepatan 4,0x–7,5x dibandingkan vLLM. Semua kemampuan berasal dari praktik produksi dan sepenuhnya sumber terbuka.
Poin utama
- Tim Tencent Hunyuan AI Infra menyumber-terbukakan dan meningkatkan pustaka operator inferensi…
- Attention menggunakan penjadwalan beban dinamis saat runtime,dengan percepatan hingga 2,95x untuk…
- Router GEMM menggunakan kombinasi dual BF16 untuk mencapai presisi FP32,dengan percepatan hingga…
- FusedMoE meningkatkan performa 1,2x–1,6x dibandingkan vLLM dan SGLang
- Fused AllReduce+Norm mempercepat hingga 1,68x dibandingkan solusi utama
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- 公众号:腾讯混元
- Kategori
- Produk & Aplikasi
- Skor AI
- 78
腾讯混元把推理全链路的瓶颈都加速了一遍,Sampler 算子比 vLLM 快 4-7 倍,Attention 动态调度根治长尾延迟,这套开源算子库可以直接用,做推理部署的可以抄作业。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Tencent Hunyuan AI Infra Sumber Terbuka Baru: Operator Inti Inferensi HPC-Ops Diperbarui Menyeluruh. 11 Juni 2026. https://new.nat6.net/id/news/cmq99cd9g09skslldniw7u2ub/