บทแนะนำและเทคนิค

SGLang ใช้ SSD Expert Pack รัน DeepSeek-V4-Flash และ Kimi-K3 บนฮาร์ดแวร์ระดับผู้บริโภค

หัวข้อต้นฉบับ:Blog Running DeepSeek-V4-Flash and Kimi-K3 on Consumer Hardware with SSD Expert Pack SGLang brings the core idea of SSD-LLaMA to MoE inference: keep routed experts that do not fit in VRAM and host RAM on an NVMe SSD, load only the experts selected by the router, and use Expert Pack la... WiCi AI Team, SGLang Team

สรุปโดย AI

SGLang นำแนวคิด SSD-LLaMA มาใช้กับการอนุมาน MoE โดยวาง routed expert ที่ใส่ไม่พอในหน่วยความจำกราฟิกและหน่วยความจำหลักไว้บน NVMe SSD ผ่านการจัดวางต่อเนื่องแบบ Expert Pack, I/O โดยตรงแบบ O_DIRECT และแคช GPU แบบ LFU/LRU ที่มีงบประมาณ เปิดโหลดเฉพาะ expert ที่ router เลือก

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
LMSYS Blog
หมวดหมู่
บทแนะนำและเทคนิค
คะแนน AI
66
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

原文给出完整的硬件配置、性能数字和复现命令,读者可以据此评估消费级 SSD 路线运行超大 MoE 模型的可行性与代价。

เอนทิตีที่เกี่ยวข้อง

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: SGLang ใช้ SSD Expert Pack รัน DeepSeek-V4-Flash และ Kimi-K3 บนฮาร์ดแวร์ระดับผู้บริโภค 29 สิงหาคม 2026 https://new.nat6.net/th/news/cmu79ssfu0z2irowkbdofbmeq/

ดูทั้งหมด →