Tutoriales y consejos

SGLang ejecuta DeepSeek-V4-Flash y Kimi-K3 en hardware de consumo con SSD Expert Pack

Título original:Blog Running DeepSeek-V4-Flash and Kimi-K3 on Consumer Hardware with SSD Expert Pack SGLang brings the core idea of SSD-LLaMA to MoE inference: keep routed experts that do not fit in VRAM and host RAM on an NVMe SSD, load only the experts selected by the router, and use Expert Pack la... WiCi AI Team, SGLang Team

Resumen de IA

SGLang trasladó la idea de SSD-LLaMA a la inferencia MoE: coloca en NVMe SSD los expertos enrutados que no caben en la memoria de vídeo ni en la RAM y, mediante el diseño contiguo Expert Pack, E/S directa con O_DIRECT y una caché GPU LFU/LRU con presupuesto, carga solo los expertos seleccionados por el router.

Puntos clave

  • SGLang trasladó la idea de SSD-LLaMA a la inferencia MoE: coloca en NVMe SSD los expertos…
  • mediante el diseño contiguo Expert Pack
  • E/S directa con O_DIRECT y una caché GPU LFU/LRU con presupuesto,carga solo los expertos…

Resumen rápido

Publicado
Actualizado
Fuente
LMSYS Blog
Categoría
Tutoriales y consejos
Puntuación IA
66
Leer el original Leer el artículo completo en la fuente original
Por qué importa

原文给出完整的硬件配置、性能数字和复现命令,读者可以据此评估消费级 SSD 路线运行超大 MoE 模型的可行性与代价。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: SGLang ejecuta DeepSeek-V4-Flash y Kimi-K3 en hardware de consumo con SSD Expert Pack. 29. agosto 2026. https://new.nat6.net/es/news/cmu79ssfu0z2irowkbdofbmeq/

Ver todo →