Продукты и приложения

Ant Group Ling выпустил демон кэширования весов для SGLang

Оригинальный заголовок:Today, we’re introducing the Weight Cache Daemon for SGLang. 🚀 On Ling-2.6-1T FP8, it reduced weigh...

ИИ-резюме

Сегодня мы выпустили Weight Cache Daemon для SGLang. 🚀 На Ling-2.6-1T FP8 он сокращает время загрузки весов примерно до 0,63 секунды, что примерно в 780 раз быстрее загрузки с диска, а общее время запуска движка — с 8,8 минуты примерно до 0,53 минуты. Вот как это работает.

Ключевые моменты

  • Сегодня мы выпустили Weight Cache Daemon для SGLang.
  • 🚀 На Ling-2.
  • 6-1T FP8 он сокращает время загрузки весов примерно до 0,63 секунды,что примерно в 780 раз быстрее…
  • Вот как это работает.

Кратко

Опубликовано
Обновлено
Источник
X:蚂蚁百灵 (@AntLingAGI)
Категория
Продукты и приложения
Оценка ИИ
53
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

把权重加载从磁盘瓶颈改为缓存复用,对需要频繁扩缩容或重启推理服务的团队,启动耗时从分钟级降到秒级可能改变运维节奏。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Ant Group Ling выпустил демон кэширования весов для SGLang. 22 августа 2026. https://new.nat6.net/ru/news/cmt3wt4qm13utro6t0hb6ga3y/

Смотреть все →