Otros

Optimización de GPT-OSS en NVIDIA DGX Spark: despliegue local de grandes modelos

Título original:Tech Blog Optimizing GPT-OSS on NVIDIA DGX Spark: Getting the Most Out of Your Spark We’ve got some exciting updates about the NVIDIA DGX Spark\! In the week following the official launch, we collaborated closely with NVIDIA and successfully brought GPT-OSS 20B and GPT-OSS 120B suppor... Jerry Zhou November 3, 2025

Resumen de IA

En colaboración con NVIDIA, se logró soportar los modelos GPT-OSS 20B y 120B mediante SGLang en DGX Spark, alcanzando velocidades de generación de aproximadamente 70 tokens/s en la versión 20B y unos 50 tokens/s en la versión 120B, el mejor nivel actual. Los usuarios pueden desplegar el servicio SGLang mediante Docker, conectarlo a Open WebUI para chatear localmente, o usar LMRouter para convertir el formato de las solicitudes y ejecutar Claude Code de forma totalmente local. Esta solución hace realidad el despliegue de agentes de programación locales de decenas de miles de millones de parámetros en DGX Spark.

Puntos clave

  • En colaboración con NVIDIA,se logró soportar los modelos GPT-OSS 20B y 120B mediante SGLang en DGX…
  • Los usuarios pueden desplegar el servicio SGLang mediante Docker,conectarlo a Open WebUI para…
  • Esta solución hace realidad el despliegue de agentes de programación locales de decenas de miles…

Resumen rápido

Publicado
Actualizado
Fuente
LMSYS Blog
Categoría
Otros
Leer el original Leer el artículo completo en la fuente original
Por qué importa

DGX Spark本地跑通Claude Code完全离线,隐私敏感开发者的新选择

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Optimización de GPT-OSS en NVIDIA DGX Spark: despliegue local de grandes modelos. 3. noviembre 2025. https://new.nat6.net/es/news/cmnxbjke50071sln0fe680fef/

Ver todo →