Google выпустил нативные движки вывода TorchTPU для vLLM и SGLang
Оригинальный заголовок:Announcing New vLLM and SGLang Inference Engines on TPU
ИИ-резюме
Google в рамках анонсов, связанных с PyTorch, представил нативные движки вывода PyTorch для vLLM и SGLang на базе TorchTPU, разработанные совместно с Inferact и RadixArk соответственно, что позволяет разработчикам развёртывать модели на TPU с помощью привычных инструментов PyTorch.
Ключевые моменты
- Google в рамках анонсов,связанных с PyTorch,представил нативные движки вывода PyTorch для vLLM и…
- разработанные совместно с Inferact и RadixArk соответственно
- что позволяет разработчикам развёртывать модели на TPU с помощью привычных инструментов PyTorch.
Кратко
- Опубликовано
- Обновлено
- Источник
- Google Developers Blog(RSS)
- Категория
- Продукты и приложения
- Оценка ИИ
- 71
原文给出两套 PyTorch 原生 TPU 推理引擎的功能清单、公开基准成本和开源入口,读者可据此评估把现有 PyTorch 服务栈迁到 TPU 的可行性。
Темы
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Google выпустил нативные движки вывода TorchTPU для vLLM и SGLang. 20 октября 2026. https://new.nat6.net/ru/news/mlusnw9gi199uld4ixj58m2cz/