Produk & Aplikasi

HPC-Ops × SGLang: Tencent Hunyuan sumber terbuka Attention, Router GEMM, dan operator MoE berperforma tinggi

Judul asli:Blog HPC-Ops × SGLang: High-Performance Attention, Router GEMM, and MoE Kernels from Tencent Hunyuan HPC-Ops is an open-source operator library for LLM inference, deployed in Tencent's large-scale production serving. Its core operators, including Dynamic Attention and Fused MoE, play a critical role ... Tencent Hunyuan AI Infra and the SGLang Team

Ringkasan AI

Pustaka operator sumber terbuka HPC-Ops dari Tencent Hunyuan telah diintegrasikan ke cabang utama SGLang, dengan Dynamic Attention dan Fused MoE-nya menurunkan TPOT hingga 48,8% pada model Hy3.

Poin utama

  • Pustaka operator sumber terbuka HPC-Ops dari Tencent Hunyuan telah diintegrasikan ke cabang utama…
  • dengan Dynamic Attention dan Fused MoE-nya menurunkan TPOT hingga 48
  • 8% pada model Hy3.

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
LMSYS Blog
Kategori
Produk & Aplikasi
Skor AI
76
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

HPC-Ops 集成到 SGLang,带来生产验证的负载均衡 Attention 和精度感知 Router GEMM,实测 Hy3 TPOT 降幅最高 48.8%,为 MoE 低延迟服务提供了可直接使用的开源优化。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: HPC-Ops × SGLang: Tencent Hunyuan sumber terbuka Attention, Router GEMM, dan operator MoE berperforma tinggi. 7 Agustus 2026. https://new.nat6.net/id/news/cmsj8rfkl02ruroo5uvyqiqiq/

Lihat semua →