チュートリアル

SGLang、SSD Expert Packでコンシューマー向けハードウェア上でDeepSeek-V4-FlashとKimi-K3を実行

原題:Blog Running DeepSeek-V4-Flash and Kimi-K3 on Consumer Hardware with SSD Expert Pack SGLang brings the core idea of SSD-LLaMA to MoE inference: keep routed experts that do not fit in VRAM and host RAM on an NVMe SSD, load only the experts selected by the router, and use Expert Pack la... WiCi AI Team, SGLang Team

AI 要約

SGLangはSSD-LLaMAの考え方をMoE推論に導入し、VRAMとメモリに収まらないルーティング専門家をNVMe SSD上に配置した。Expert Packの連続レイアウト、O_DIRECT直接I/O、予算付きGPU LFU/LRUキャッシュにより、routerが選択した専門家のみをロードする。

要点

  • SGLangはSSD-LLaMAの考え方をMoE推論に導入し、VRAMとメモリに収まらないルーティング専門家をNVMe SSD上に配置した。
  • Expert Packの連続レイアウト、O_DIRECT直接I/O、予算付きGPU LFU/LRUキャッシュにより
  • routerが選択した専門家のみをロードする

概要

公開日時
更新日時
出典
LMSYS Blog
カテゴリ
チュートリアル
AI スコア
66
原文を読む 情報源で全文を読む
おすすめの理由

原文给出完整的硬件配置、性能数字和复现命令,读者可以据此评估消费级 SSD 路线运行超大 MoE 模型的可行性与代价。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:SGLang、SSD Expert Packでコンシューマー向けハードウェア上でDeepSeek-V4-FlashとKimi-K3を実行。2026年8月29日。https://new.nat6.net/ja/news/cmu79ssfu0z2irowkbdofbmeq/

すべて見る →