Menembus Batas Layanan DeepSeek-V4-Pro: Metode Optimasi Multi-skenario pada H20
Judul asli:Blog Pushing the Limits of Serving DeepSeek-V4-Pro DeepSeek-V4-Pro is a 1.6-trillion-parameter Mixture-of-Experts (MoE) model released with both FP8 and FP4 weights. Models at this scale naturally benefit from accelerators such as NVIDIA Blackwell GPU... Tianyu Zhang, Yusong Gao, Yun Zhang
Ringkasan AI
Tim LMSYS menargetkan model MoE berparameter 1,6 triliun DeepSeek-V4-Pro, mendekati performa B300 melalui konfigurasi layanan berbasis skenario pada GPU H20. Implementasi referensi satu node H20-141GB mencapai 271 output token/s, mempersempit kesenjangan performa dengan B300 sebesar 383,7 token/s menjadi 1,42x.
Poin utama
- Tim LMSYS menargetkan model MoE berparameter 1
- 6 triliun DeepSeek-V4-Pro,mendekati performa B300 melalui konfigurasi layanan berbasis skenario…
- Implementasi referensi satu node H20-141GB mencapai 271 output token/s,mempersempit kesenjangan…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- LMSYS Blog
- Kategori
- Makalah & Riset
- Skor AI
- 73
文章提出按上下文长度与并发需求分场景选择 prefill/decode 配置,并用 Humming 压缩和 Online C128 释放 HBM,使 H20 也能服务 1M 上下文,为受限硬件上的大规模推理提供了可复用的工程思路。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Menembus Batas Layanan DeepSeek-V4-Pro: Metode Optimasi Multi-skenario pada H20. 19 Agustus 2026. https://new.nat6.net/id/news/cmt0e7sxo01eiro2o4l4y9jmh/