Продукты и приложения

Google выпустил нативные движки вывода TorchTPU для vLLM и SGLang

Оригинальный заголовок:Announcing New vLLM and SGLang Inference Engines on TPU

ИИ-резюме

Google в рамках анонсов, связанных с PyTorch, представил нативные движки вывода PyTorch для vLLM и SGLang на базе TorchTPU, разработанные совместно с Inferact и RadixArk соответственно, что позволяет разработчикам развёртывать модели на TPU с помощью привычных инструментов PyTorch.

Ключевые моменты

  • Google в рамках анонсов,связанных с PyTorch,представил нативные движки вывода PyTorch для vLLM и…
  • разработанные совместно с Inferact и RadixArk соответственно
  • что позволяет разработчикам развёртывать модели на TPU с помощью привычных инструментов PyTorch.

Кратко

Опубликовано
Обновлено
Источник
Google Developers Blog(RSS)
Категория
Продукты и приложения
Тема
Обновления продуктовЭкосистема открытого кодаИнженерия развёртывания
Оценка ИИ
71
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

原文给出两套 PyTorch 原生 TPU 推理引擎的功能清单、公开基准成本和开源入口,读者可据此评估把现有 PyTorch 服务栈迁到 TPU 的可行性。

Темы

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Google выпустил нативные движки вывода TorchTPU для vLLM и SGLang. 20 октября 2026. https://new.nat6.net/ru/news/mlusnw9gi199uld4ixj58m2cz/

Смотреть все →