SGLang запускает DeepSeek-V4-Flash и Kimi-K3 на потребительском оборудовании с помощью SSD Expert Pack
Оригинальный заголовок:Blog Running DeepSeek-V4-Flash and Kimi-K3 on Consumer Hardware with SSD Expert Pack SGLang brings the core idea of SSD-LLaMA to MoE inference: keep routed experts that do not fit in VRAM and host RAM on an NVMe SSD, load only the experts selected by the router, and use Expert Pack la... WiCi AI Team, SGLang Team
ИИ-резюме
SGLang перенёс идею SSD-LLaMA в инференс MoE: маршрутизируемые эксперты, не помещающиеся в видеопамять и оперативную память, размещаются на NVMe SSD, а благодаря непрерывной раскладке Expert Pack, прямому вводу-выводу O_DIRECT и GPU-кэшу LFU/LRU с бюджетом загружаются только эксперты, выбранные router.
Ключевые моменты
- SGLang перенёс идею SSD-LLaMA в инференс MoE: маршрутизируемые эксперты,не помещающиеся в…
- размещаются на NVMe SSD,а благодаря непрерывной раскладке Expert Pack
- прямому вводу-выводу O_DIRECT и GPU-кэшу LFU/LRU с бюджетом загружаются только эксперты,выбранные…
Кратко
- Опубликовано
- Обновлено
- Источник
- LMSYS Blog
- Категория
- Туториалы и советы
- Оценка ИИ
- 66
原文给出完整的硬件配置、性能数字和复现命令,读者可以据此评估消费级 SSD 路线运行超大 MoE 模型的可行性与代价。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: SGLang запускает DeepSeek-V4-Flash и Kimi-K3 на потребительском оборудовании с помощью SSD Expert Pack. 29 августа 2026. https://new.nat6.net/ru/news/cmu79ssfu0z2irowkbdofbmeq/