Produk & Aplikasi

Tencent Hunyuan AI Infra Sumber Terbuka Baru: Operator Inti Inferensi HPC-Ops Diperbarui Menyeluruh

Ringkasan AI

Tim Tencent Hunyuan AI Infra menyumber-terbukakan dan meningkatkan pustaka operator inferensi HPC-Ops, menghadirkan lima operator inti. Attention menggunakan penjadwalan beban dinamis saat runtime, dengan percepatan hingga 2,95x untuk teks panjang dan peningkatan QPM end-to-end sebesar 17%; Router GEMM menggunakan kombinasi dual BF16 untuk mencapai presisi FP32, dengan percepatan hingga 3,22x dibandingkan CuBLAS FP32; FusedMoE meningkatkan performa 1,2x–1,6x dibandingkan vLLM dan SGLang; Fused AllReduce+Norm mempercepat hingga 1,68x dibandingkan solusi utama; Sampler menggabungkan pengambilan sampel dekode menjadi 2 CUDA Kernel, dengan percepatan 4,0x–7,5x dibandingkan vLLM. Semua kemampuan berasal dari praktik produksi dan sepenuhnya sumber terbuka.

Poin utama

  • Tim Tencent Hunyuan AI Infra menyumber-terbukakan dan meningkatkan pustaka operator inferensi…
  • Attention menggunakan penjadwalan beban dinamis saat runtime,dengan percepatan hingga 2,95x untuk…
  • Router GEMM menggunakan kombinasi dual BF16 untuk mencapai presisi FP32,dengan percepatan hingga…
  • FusedMoE meningkatkan performa 1,2x–1,6x dibandingkan vLLM dan SGLang
  • Fused AllReduce+Norm mempercepat hingga 1,68x dibandingkan solusi utama

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
公众号:腾讯混元
Kategori
Produk & Aplikasi
Skor AI
78
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

腾讯混元把推理全链路的瓶颈都加速了一遍,Sampler 算子比 vLLM 快 4-7 倍,Attention 动态调度根治长尾延迟,这套开源算子库可以直接用,做推理部署的可以抄作业。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Tencent Hunyuan AI Infra Sumber Terbuka Baru: Operator Inti Inferensi HPC-Ops Diperbarui Menyeluruh. 11 Juni 2026. https://new.nat6.net/id/news/cmq99cd9g09skslldniw7u2ub/

Lihat semua →