Hướng dẫn & mẹo

SGLang dùng SSD Expert Pack chạy DeepSeek-V4-Flash và Kimi-K3 trên phần cứng tiêu dùng

Tiêu đề gốc:Blog Running DeepSeek-V4-Flash and Kimi-K3 on Consumer Hardware with SSD Expert Pack SGLang brings the core idea of SSD-LLaMA to MoE inference: keep routed experts that do not fit in VRAM and host RAM on an NVMe SSD, load only the experts selected by the router, and use Expert Pack la... WiCi AI Team, SGLang Team

Tóm tắt AI

SGLang đưa ý tưởng SSD-LLaMA vào suy luận MoE, đặt các chuyên gia định tuyến không vừa VRAM và bộ nhớ lên NVMe SSD, thông qua bố cục liên tục Expert Pack, I/O trực tiếp O_DIRECT và bộ đệm GPU LFU/LRU có ngân sách, chỉ tải các chuyên gia được router chọn.

Thông tin chính

  • SGLang đưa ý tưởng SSD-LLaMA vào suy luận MoE,đặt các chuyên gia định tuyến không vừa VRAM và bộ…
  • thông qua bố cục liên tục Expert Pack
  • I/O trực tiếp O_DIRECT và bộ đệm GPU LFU/LRU có ngân sách,chỉ tải các chuyên gia được router chọn.

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
LMSYS Blog
Danh mục
Hướng dẫn & mẹo
Điểm AI
66
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

原文给出完整的硬件配置、性能数字和复现命令,读者可以据此评估消费级 SSD 路线运行超大 MoE 模型的可行性与代价。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: SGLang dùng SSD Expert Pack chạy DeepSeek-V4-Flash và Kimi-K3 trên phần cứng tiêu dùng. 29 tháng 8 2026. https://new.nat6.net/vi/news/cmu79ssfu0z2irowkbdofbmeq/

Xem tất cả →