Tutoriels et astuces

SGLang utilise SSD Expert Pack pour faire tourner DeepSeek-V4-Flash et Kimi-K3 sur du matériel grand public

Titre original:Blog Running DeepSeek-V4-Flash and Kimi-K3 on Consumer Hardware with SSD Expert Pack SGLang brings the core idea of SSD-LLaMA to MoE inference: keep routed experts that do not fit in VRAM and host RAM on an NVMe SSD, load only the experts selected by the router, and use Expert Pack la... WiCi AI Team, SGLang Team

Résumé IA

SGLang transpose l'idée de SSD-LLaMA à l'inférence MoE : les experts routés qui ne tiennent ni en VRAM ni en mémoire sont placés sur SSD NVMe, avec une disposition contiguë Expert Pack, des I/O directes O_DIRECT et un cache GPU LFU/LRU avec budget, seuls les experts sélectionnés par le routeur étant chargés.

Points clés

  • SGLang transpose l'idée de SSD-LLaMA à l'inférence MoE: les experts routés qui ne tiennent ni en…
  • avec une disposition contiguë Expert Pack
  • des I/O directes O_DIRECT et un cache GPU LFU/LRU avec budget,seuls les experts sélectionnés par…

En bref

Publié
Mis à jour
Source
LMSYS Blog
Catégorie
Tutoriels et astuces
Score IA
66
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

原文给出完整的硬件配置、性能数字和复现命令,读者可以据此评估消费级 SSD 路线运行超大 MoE 模型的可行性与代价。

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : SGLang utilise SSD Expert Pack pour faire tourner DeepSeek-V4-Flash et Kimi-K3 sur du matériel grand public. 29. août 2026. https://new.nat6.net/fr/news/cmu79ssfu0z2irowkbdofbmeq/

Tout voir →