Ant Group Ling выпустил демон кэширования весов для SGLang
Оригинальный заголовок:Today, we’re introducing the Weight Cache Daemon for SGLang. 🚀 On Ling-2.6-1T FP8, it reduced weigh...
ИИ-резюме
Сегодня мы выпустили Weight Cache Daemon для SGLang. 🚀 На Ling-2.6-1T FP8 он сокращает время загрузки весов примерно до 0,63 секунды, что примерно в 780 раз быстрее загрузки с диска, а общее время запуска движка — с 8,8 минуты примерно до 0,53 минуты. Вот как это работает.
Ключевые моменты
- Сегодня мы выпустили Weight Cache Daemon для SGLang.
- 🚀 На Ling-2.
- 6-1T FP8 он сокращает время загрузки весов примерно до 0,63 секунды,что примерно в 780 раз быстрее…
- Вот как это работает.
Кратко
- Опубликовано
- Обновлено
- Источник
- X:蚂蚁百灵 (@AntLingAGI)
- Категория
- Продукты и приложения
- Оценка ИИ
- 53
把权重加载从磁盘瓶颈改为缓存复用,对需要频繁扩缩容或重启推理服务的团队,启动耗时从分钟级降到秒级可能改变运维节奏。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Ant Group Ling выпустил демон кэширования весов для SGLang. 22 августа 2026. https://new.nat6.net/ru/news/cmt3wt4qm13utro6t0hb6ga3y/