Tutorial dan petua

SGLang menggunakan SSD Expert Pack untuk menjalankan DeepSeek-V4-Flash dan Kimi-K3 pada perkakasan pengguna

Tajuk asal:Blog Running DeepSeek-V4-Flash and Kimi-K3 on Consumer Hardware with SSD Expert Pack SGLang brings the core idea of SSD-LLaMA to MoE inference: keep routed experts that do not fit in VRAM and host RAM on an NVMe SSD, load only the experts selected by the router, and use Expert Pack la... WiCi AI Team, SGLang Team

Ringkasan AI

SGLang memperkenalkan idea SSD-LLaMA ke dalam penaakulan MoE, meletakkan pakar penghalaan yang tidak muat dalam memori grafik dan memori pada NVMe SSD, melalui susun atur berterusan Expert Pack, I/O langsung O_DIRECT dan cache GPU LFU/LRU dengan bajet, hanya memuatkan pakar yang dipilih oleh router.

Maklumat penting

  • SGLang memperkenalkan idea SSD-LLaMA ke dalam penaakulan MoE
  • meletakkan pakar penghalaan yang tidak muat dalam memori grafik dan memori pada NVMe SSD
  • melalui susun atur berterusan Expert Pack,I/O langsung O_DIRECT dan cache GPU LFU/LRU dengan…

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
LMSYS Blog
Kategori
Tutorial dan petua
Skor AI
66
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

原文给出完整的硬件配置、性能数字和复现命令,读者可以据此评估消费级 SSD 路线运行超大 MoE 模型的可行性与代价。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: SGLang menggunakan SSD Expert Pack untuk menjalankan DeepSeek-V4-Flash dan Kimi-K3 pada perkakasan pengguna. 29 Ogos 2026. https://new.nat6.net/ms/news/cmu79ssfu0z2irowkbdofbmeq/

Lihat Semua →