Makalah & Riset

Menembus Batas Layanan DeepSeek-V4-Pro: Metode Optimasi Multi-skenario pada H20

Judul asli:Blog Pushing the Limits of Serving DeepSeek-V4-Pro DeepSeek-V4-Pro is a 1.6-trillion-parameter Mixture-of-Experts (MoE) model released with both FP8 and FP4 weights. Models at this scale naturally benefit from accelerators such as NVIDIA Blackwell GPU... Tianyu Zhang, Yusong Gao, Yun Zhang

Ringkasan AI

Tim LMSYS menargetkan model MoE berparameter 1,6 triliun DeepSeek-V4-Pro, mendekati performa B300 melalui konfigurasi layanan berbasis skenario pada GPU H20. Implementasi referensi satu node H20-141GB mencapai 271 output token/s, mempersempit kesenjangan performa dengan B300 sebesar 383,7 token/s menjadi 1,42x.

Poin utama

  • Tim LMSYS menargetkan model MoE berparameter 1
  • 6 triliun DeepSeek-V4-Pro,mendekati performa B300 melalui konfigurasi layanan berbasis skenario…
  • Implementasi referensi satu node H20-141GB mencapai 271 output token/s,mempersempit kesenjangan…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
LMSYS Blog
Kategori
Makalah & Riset
Skor AI
73
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

文章提出按上下文长度与并发需求分场景选择 prefill/decode 配置,并用 Humming 压缩和 Online C128 释放 HBM,使 H20 也能服务 1M 上下文,为受限硬件上的大规模推理提供了可复用的工程思路。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Menembus Batas Layanan DeepSeek-V4-Pro: Metode Optimasi Multi-skenario pada H20. 19 Agustus 2026. https://new.nat6.net/id/news/cmt0e7sxo01eiro2o4l4y9jmh/

Lihat semua →