SGLang ejecuta DeepSeek-V4-Flash y Kimi-K3 en hardware de consumo con SSD Expert Pack
Título original:Blog Running DeepSeek-V4-Flash and Kimi-K3 on Consumer Hardware with SSD Expert Pack SGLang brings the core idea of SSD-LLaMA to MoE inference: keep routed experts that do not fit in VRAM and host RAM on an NVMe SSD, load only the experts selected by the router, and use Expert Pack la... WiCi AI Team, SGLang Team
Resumen de IA
SGLang trasladó la idea de SSD-LLaMA a la inferencia MoE: coloca en NVMe SSD los expertos enrutados que no caben en la memoria de vídeo ni en la RAM y, mediante el diseño contiguo Expert Pack, E/S directa con O_DIRECT y una caché GPU LFU/LRU con presupuesto, carga solo los expertos seleccionados por el router.
Puntos clave
- SGLang trasladó la idea de SSD-LLaMA a la inferencia MoE: coloca en NVMe SSD los expertos…
- mediante el diseño contiguo Expert Pack
- E/S directa con O_DIRECT y una caché GPU LFU/LRU con presupuesto,carga solo los expertos…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- LMSYS Blog
- Categoría
- Tutoriales y consejos
- Puntuación IA
- 66
原文给出完整的硬件配置、性能数字和复现命令,读者可以据此评估消费级 SSD 路线运行超大 MoE 模型的可行性与代价。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: SGLang ejecuta DeepSeek-V4-Flash y Kimi-K3 en hardware de consumo con SSD Expert Pack. 29. agosto 2026. https://new.nat6.net/es/news/cmu79ssfu0z2irowkbdofbmeq/