Produk & Aplikasi

HPC-Ops × SGLang: Tencent Hunyuan sumber terbuka operator Attention, Router GEMM dan MoE berprestasi tinggi

Tajuk asal:Blog HPC-Ops × SGLang: High-Performance Attention, Router GEMM, and MoE Kernels from Tencent Hunyuan HPC-Ops is an open-source operator library for LLM inference, deployed in Tencent's large-scale production serving. Its core operators, including Dynamic Attention and Fused MoE, play a critical role ... Tencent Hunyuan AI Infra and the SGLang Team

Ringkasan AI

Pustaka operator sumber terbuka Tencent Hunyuan, HPC-Ops, telah disepadukan ke cabang utama SGLang; Dynamic Attention dan Fused MoE-nya mengurangkan TPOT sehingga 48.8% pada model Hy3.

Maklumat penting

  • Pustaka operator sumber terbuka Tencent Hunyuan,HPC-Ops,telah disepadukan ke cabang utama SGLang
  • Dynamic Attention dan Fused MoE-nya mengurangkan TPOT sehingga 48.
  • 8% pada model Hy3.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
LMSYS Blog
Kategori
Produk & Aplikasi
Skor AI
76
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

HPC-Ops 集成到 SGLang,带来生产验证的负载均衡 Attention 和精度感知 Router GEMM,实测 Hy3 TPOT 降幅最高 48.8%,为 MoE 低延迟服务提供了可直接使用的开源优化。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: HPC-Ops × SGLang: Tencent Hunyuan sumber terbuka operator Attention, Router GEMM dan MoE berprestasi tinggi. 7 Ogos 2026. https://new.nat6.net/ms/news/cmsj8rfkl02ruroo5uvyqiqiq/

Lihat Semua →