Tutorial & Tips

SGLang menjalankan DeepSeek-V4-Flash dan Kimi-K3 di perangkat konsumen dengan SSD Expert Pack

Judul asli:Blog Running DeepSeek-V4-Flash and Kimi-K3 on Consumer Hardware with SSD Expert Pack SGLang brings the core idea of SSD-LLaMA to MoE inference: keep routed experts that do not fit in VRAM and host RAM on an NVMe SSD, load only the experts selected by the router, and use Expert Pack la... WiCi AI Team, SGLang Team

Ringkasan AI

SGLang mengadopsi pendekatan SSD-LLaMA ke dalam inferensi MoE, menempatkan pakar routing yang tidak muat di VRAM dan memori pada NVMe SSD, melalui tata letak berurutan Expert Pack, I/O langsung O_DIRECT, dan cache GPU LFU/LRU dengan anggaran, hanya memuat pakar yang dipilih router.

Poin utama

  • SGLang mengadopsi pendekatan SSD-LLaMA ke dalam inferensi MoE,menempatkan pakar routing yang tidak…
  • melalui tata letak berurutan Expert Pack
  • I/O langsung O_DIRECT,dan cache GPU LFU/LRU dengan anggaran,hanya memuat pakar yang dipilih router.

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
LMSYS Blog
Kategori
Tutorial & Tips
Skor AI
66
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

原文给出完整的硬件配置、性能数字和复现命令,读者可以据此评估消费级 SSD 路线运行超大 MoE 模型的可行性与代价。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: SGLang menjalankan DeepSeek-V4-Flash dan Kimi-K3 di perangkat konsumen dengan SSD Expert Pack. 29 Agustus 2026. https://new.nat6.net/id/news/cmu79ssfu0z2irowkbdofbmeq/

Lihat semua →