Mga Tutorial at Tip

SGLang, pinapatakbo ang DeepSeek-V4-Flash at Kimi-K3 sa consumer hardware gamit ang SSD Expert Pack

Orihinal na pamagat:Blog Running DeepSeek-V4-Flash and Kimi-K3 on Consumer Hardware with SSD Expert Pack SGLang brings the core idea of SSD-LLaMA to MoE inference: keep routed experts that do not fit in VRAM and host RAM on an NVMe SSD, load only the experts selected by the router, and use Expert Pack la... WiCi AI Team, SGLang Team

AI summary

Inilalapat ng SGLang ang ideya ng SSD-LLaMA sa MoE inference, inilalagay sa NVMe SSD ang mga routing expert na hindi kasya sa VRAM at memory, at sa pamamagitan ng Expert Pack contiguous layout, O_DIRECT direct I/O at GPU LFU/LRU cache na may budget, ang mga expert na pinili ng router lamang ang nilo-load.

Mahahalagang impormasyon

  • Inilalapat ng SGLang ang ideya ng SSD-LLaMA sa MoE inference,inilalagay sa NVMe SSD ang mga…
  • at sa pamamagitan ng Expert Pack contiguous layout
  • O_DIRECT direct I/O at GPU LFU/LRU cache na may budget,ang mga expert na pinili ng router lamang…

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
LMSYS Blog
Kategorya
Mga Tutorial at Tip
AI na marka
66
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

原文给出完整的硬件配置、性能数字和复现命令,读者可以据此评估消费级 SSD 路线运行超大 MoE 模型的可行性与代价。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: SGLang, pinapatakbo ang DeepSeek-V4-Flash at Kimi-K3 sa consumer hardware gamit ang SSD Expert Pack. 29 Agosto 2026. https://new.nat6.net/fil/news/cmu79ssfu0z2irowkbdofbmeq/

Tingnan lahat →