Холодный старт в 60 раз быстрее: одноранговые GPU как серверы весов
Оригинальный заголовок:60x Faster Cold Starts: Treating Peer GPUs as Weight Servers
ИИ-резюме
Система NCCLBack, разработанная командой платформы Runway, сокращает время холодного старта модели с нескольких минут до нескольких секунд за счёт P2P-передачи весов. Ключевое новшество заключается в том, что новый запускаемый узел вывода на GPU получает параметры модели напрямую от уже загруженных одноранговых GPU в кластере, а не скачивает их повторно из облачного хранилища. Система использует пропускную способность GPU-взаимосвязей (таких как InfiniBand, NVLink) до 200-400 Гбит/с, что на порядки превосходит традиционную загрузку из хранилища на 2-10 Гбит/с. Благодаря координации через Redis и примитивам широковещательной рассылки NCCL, NCCLBack обеспечивает эффективность и корректность передачи данных, так что при развёртывании новых моделей в крупномасштабных кластерах время холодного старта не растёт линейно с числом узлов и остаётся практически постоянным.
Ключевые моменты
- Система NCCLBack,разработанная командой платформы Runway,сокращает время холодного старта модели с…
- Ключевое новшество заключается в том,что новый запускаемый узел вывода на GPU получает параметры…
- Система использует пропускную способность GPU-взаимосвязей (таких как InfiniBand,NVLink) до…
- Благодаря координации через Redis и примитивам широковещательной рассылки NCCL,NCCLBack…
Кратко
- Опубликовано
- Обновлено
- Источник
- Runway:News(网页)
- Категория
- Туториалы и советы
- Оценка ИИ
- 55
Runway 工程师把 GPU 冷启动从分钟压到秒级,原理是让已加载权重的 GPU 直接「喂」给新同伴,而不是各自从存储下载。做大规模推理部署的团队值得细读。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Холодный старт в 60 раз быстрее: одноранговые GPU как серверы весов. 4 мая 2026. https://new.nat6.net/ru/news/cmosrd1ac00v8slplayzv4fhm/