Туториалы и советы

Холодный старт в 60 раз быстрее: одноранговые GPU как серверы весов

Оригинальный заголовок:60x Faster Cold Starts: Treating Peer GPUs as Weight Servers

ИИ-резюме

Система NCCLBack, разработанная командой платформы Runway, сокращает время холодного старта модели с нескольких минут до нескольких секунд за счёт P2P-передачи весов. Ключевое новшество заключается в том, что новый запускаемый узел вывода на GPU получает параметры модели напрямую от уже загруженных одноранговых GPU в кластере, а не скачивает их повторно из облачного хранилища. Система использует пропускную способность GPU-взаимосвязей (таких как InfiniBand, NVLink) до 200-400 Гбит/с, что на порядки превосходит традиционную загрузку из хранилища на 2-10 Гбит/с. Благодаря координации через Redis и примитивам широковещательной рассылки NCCL, NCCLBack обеспечивает эффективность и корректность передачи данных, так что при развёртывании новых моделей в крупномасштабных кластерах время холодного старта не растёт линейно с числом узлов и остаётся практически постоянным.

Ключевые моменты

  • Система NCCLBack,разработанная командой платформы Runway,сокращает время холодного старта модели с…
  • Ключевое новшество заключается в том,что новый запускаемый узел вывода на GPU получает параметры…
  • Система использует пропускную способность GPU-взаимосвязей (таких как InfiniBand,NVLink) до…
  • Благодаря координации через Redis и примитивам широковещательной рассылки NCCL,NCCLBack…

Кратко

Опубликовано
Обновлено
Источник
Runway:News(网页)
Категория
Туториалы и советы
Оценка ИИ
55
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

Runway 工程师把 GPU 冷启动从分钟压到秒级,原理是让已加载权重的 GPU 直接「喂」给新同伴,而不是各自从存储下载。做大规模推理部署的团队值得细读。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Холодный старт в 60 раз быстрее: одноранговые GPU как серверы весов. 4 мая 2026. https://new.nat6.net/ru/news/cmosrd1ac00v8slplayzv4fhm/

Смотреть все →