튜토리얼 및 팁

SGLang, SSD Expert Pack으로 소비자용 하드웨어에서 DeepSeek-V4-Flash와 Kimi-K3 구동

원제목:Blog Running DeepSeek-V4-Flash and Kimi-K3 on Consumer Hardware with SSD Expert Pack SGLang brings the core idea of SSD-LLaMA to MoE inference: keep routed experts that do not fit in VRAM and host RAM on an NVMe SSD, load only the experts selected by the router, and use Expert Pack la... WiCi AI Team, SGLang Team

AI 요약

SGLang이 SSD-LLaMA의 아이디어를 MoE 추론에 도입해 VRAM과 메모리에 들어가지 않는 라우팅 전문가를 NVMe SSD에 배치하고, Expert Pack 연속 배치, O_DIRECT 직접 I/O, 예산 기반 GPU LFU/LRU 캐시를 통해 라우터가 선택한 전문가만 로드한다.

핵심 정보

  • SGLang이 SSD-LLaMA의 아이디어를 MoE 추론에 도입해 VRAM과 메모리에 들어가지 않는 라우팅 전문가를 NVMe SSD에 배치하고
  • Expert Pack 연속 배치
  • O_DIRECT 직접 I/O,예산 기반 GPU LFU/LRU 캐시를 통해 라우터가 선택한 전문가만 로드한다.

한눈에 보기

게시
업데이트
출처
LMSYS Blog
카테고리
튜토리얼 및 팁
AI 점수
66
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

原文给出完整的硬件配置、性能数字和复现命令,读者可以据此评估消费级 SSD 路线运行超大 MoE 模型的可行性与代价。

관련 엔티티

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: SGLang, SSD Expert Pack으로 소비자용 하드웨어에서 DeepSeek-V4-Flash와 Kimi-K3 구동. 2026년 8월 29일. https://new.nat6.net/ko/news/cmu79ssfu0z2irowkbdofbmeq/

전체 보기 →