Tutorials & Tipps

SGLang führt DeepSeek-V4-Flash und Kimi-K3 mit SSD Expert Pack auf Consumer-Hardware aus

Originaltitel:Blog Running DeepSeek-V4-Flash and Kimi-K3 on Consumer Hardware with SSD Expert Pack SGLang brings the core idea of SSD-LLaMA to MoE inference: keep routed experts that do not fit in VRAM and host RAM on an NVMe SSD, load only the experts selected by the router, and use Expert Pack la... WiCi AI Team, SGLang Team

KI-Zusammenfassung

SGLang überträgt die Idee von SSD-LLaMA auf die MoE-Inferenz: Routing-Experten, die nicht in VRAM und Arbeitsspeicher passen, werden auf NVMe-SSDs ausgelagert und über eine kontinuierliche Expert-Pack-Anordnung, direkte O_DIRECT-I/O und einen GPU-LFU/LRU-Cache mit Budget nur dann geladen, wenn der Router sie auswählt.

Kernpunkte

  • SGLang überträgt die Idee von SSD-LLaMA auf die MoE-Inferenz: Routing-Experten,die nicht in VRAM…
  • werden auf NVMe-SSDs ausgelagert und über eine kontinuierliche Expert-Pack-Anordnung
  • direkte O_DIRECT-I/O und einen GPU-LFU/LRU-Cache mit Budget nur dann geladen,wenn der Router sie…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
LMSYS Blog
Kategorie
Tutorials & Tipps
KI-Bewertung
66
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

原文给出完整的硬件配置、性能数字和复现命令,读者可以据此评估消费级 SSD 路线运行超大 MoE 模型的可行性与代价。

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: SGLang führt DeepSeek-V4-Flash und Kimi-K3 mit SSD Expert Pack auf Consumer-Hardware aus. 29. August 2026. https://new.nat6.net/de/news/cmu79ssfu0z2irowkbdofbmeq/

Alle ansehen →