教程与技巧

SGLang 用 SSD Expert Pack 在消费级硬件上运行 DeepSeek-V4-Flash 和 Kimi-K3

原文标题:Blog Running DeepSeek-V4-Flash and Kimi-K3 on Consumer Hardware with SSD Expert Pack SGLang brings the core idea of SSD-LLaMA to MoE inference: keep routed experts that do not fit in VRAM and host RAM on an NVMe SSD, load only the experts selected by the router, and use Expert Pack la... WiCi AI Team, SGLang Team

AI 摘要

SGLang 将 SSD-LLaMA 的思路引入 MoE 推理,把放不进显存和内存的路由专家放在 NVMe SSD 上,通过 Expert Pack 连续布局、O_DIRECT 直接 I/O 和带预算的 GPU LFU/LRU 缓存,只加载 router 选中的专家。

关键信息

  • SGLang 将 SSD-LLaMA 的思路引入 MoE 推理,把放不进显存和内存的路由专家放在 NVMe SSD 上,通过 Expert Pack 连续布局
  • O_DIRECT 直接 I/O 和带预算的 GPU LFU/LRU 缓存,只加载 router 选中的专家
  • 原文给出完整的硬件配置、性能数字和复现命令,读者可以据此评估消费级 SSD 路线运行超大 MoE 模型的可行性与代价

速览

发布时间
更新时间
来源
LMSYS Blog
分类
教程与技巧
AI 评分
66
阅读原文 前往信息源阅读完整正文
推荐理由

原文给出完整的硬件配置、性能数字和复现命令,读者可以据此评估消费级 SSD 路线运行超大 MoE 模型的可行性与代价。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:SGLang 用 SSD Expert Pack 在消费级硬件上运行 DeepSeek-V4-Flash 和 Kimi-K3。2026年8月29日。https://new.nat6.net/news/cmu79ssfu0z2irowkbdofbmeq/

查看全部 →