Artículos e investigación

Superar los límites de servicio de DeepSeek-V4-Pro: métodos de optimización multiescenario en H20

Título original:Blog Pushing the Limits of Serving DeepSeek-V4-Pro DeepSeek-V4-Pro is a 1.6-trillion-parameter Mixture-of-Experts (MoE) model released with both FP8 and FP4 weights. Models at this scale naturally benefit from accelerators such as NVIDIA Blackwell GPU... Tianyu Zhang, Yusong Gao, Yun Zhang

Resumen de IA

El equipo de LMSYS acerca el rendimiento del modelo MoE DeepSeek-V4-Pro, de 1.6 billones de parámetros, al de B300 mediante configuraciones de servicio por escenario en GPU H20. Una implementación de referencia en un solo nodo H20-141GB alcanza 271 output tokens/s, reduciendo a 1.42× la brecha con los 383.7 tokens/s de B300.

Puntos clave

  • El equipo de LMSYS acerca el rendimiento del modelo MoE DeepSeek-V4-Pro,de 1.
  • 6 billones de parámetros,al de B300 mediante configuraciones de servicio por escenario en GPU H20.
  • Una implementación de referencia en un solo nodo H20-141GB alcanza 271 output tokens/s,reduciendo…
  • 42× la brecha con los 383.
  • 7 tokens/s de B300.

Resumen rápido

Publicado
Actualizado
Fuente
LMSYS Blog
Categoría
Artículos e investigación
Puntuación IA
73
Leer el original Leer el artículo completo en la fuente original
Por qué importa

文章提出按上下文长度与并发需求分场景选择 prefill/decode 配置,并用 Humming 压缩和 Online C128 释放 HBM,使 H20 也能服务 1M 上下文,为受限硬件上的大规模推理提供了可复用的工程思路。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Superar los límites de servicio de DeepSeek-V4-Pro: métodos de optimización multiescenario en H20. 19. agosto 2026. https://new.nat6.net/es/news/cmt0e7sxo01eiro2o4l4y9jmh/

Ver todo →