SGLang führt DeepSeek-V4-Flash und Kimi-K3 mit SSD Expert Pack auf Consumer-Hardware aus
Originaltitel:Blog Running DeepSeek-V4-Flash and Kimi-K3 on Consumer Hardware with SSD Expert Pack SGLang brings the core idea of SSD-LLaMA to MoE inference: keep routed experts that do not fit in VRAM and host RAM on an NVMe SSD, load only the experts selected by the router, and use Expert Pack la... WiCi AI Team, SGLang Team
KI-Zusammenfassung
SGLang überträgt die Idee von SSD-LLaMA auf die MoE-Inferenz: Routing-Experten, die nicht in VRAM und Arbeitsspeicher passen, werden auf NVMe-SSDs ausgelagert und über eine kontinuierliche Expert-Pack-Anordnung, direkte O_DIRECT-I/O und einen GPU-LFU/LRU-Cache mit Budget nur dann geladen, wenn der Router sie auswählt.
Kernpunkte
- SGLang überträgt die Idee von SSD-LLaMA auf die MoE-Inferenz: Routing-Experten,die nicht in VRAM…
- werden auf NVMe-SSDs ausgelagert und über eine kontinuierliche Expert-Pack-Anordnung
- direkte O_DIRECT-I/O und einen GPU-LFU/LRU-Cache mit Budget nur dann geladen,wenn der Router sie…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- LMSYS Blog
- Kategorie
- Tutorials & Tipps
- KI-Bewertung
- 66
原文给出完整的硬件配置、性能数字和复现命令,读者可以据此评估消费级 SSD 路线运行超大 MoE 模型的可行性与代价。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: SGLang führt DeepSeek-V4-Flash und Kimi-K3 mit SSD Expert Pack auf Consumer-Hardware aus. 29. August 2026. https://new.nat6.net/de/news/cmu79ssfu0z2irowkbdofbmeq/