원제목:Blog Running DeepSeek-V4-Flash and Kimi-K3 on Consumer Hardware with SSD Expert Pack SGLang brings the core idea of SSD-LLaMA to MoE inference: keep routed experts that do not fit in VRAM and host RAM on an NVMe SSD, load only the experts selected by the router, and use Expert Pack la... WiCi AI Team, SGLang Team
SGLang이 SSD-LLaMA의 아이디어를 MoE 추론에 도입해 VRAM과 메모리에 들어가지 않는 라우팅 전문가를 NVMe SSD에 배치하고, Expert Pack 연속 배치, O_DIRECT 직접 I/O, 예산 기반 GPU LFU/LRU 캐시를 통해 라우터가 선택한 전문가만 로드한다.
핵심 정보
SGLang이 SSD-LLaMA의 아이디어를 MoE 추론에 도입해 VRAM과 메모리에 들어가지 않는 라우팅 전문가를 NVMe SSD에 배치하고
Expert Pack 연속 배치
O_DIRECT 직접 I/O,예산 기반 GPU LFU/LRU 캐시를 통해 라우터가 선택한 전문가만 로드한다.