产品与应用

Google 发布 vLLM 与 SGLang 的 TorchTPU 原生推理引擎

原文标题:Announcing New vLLM and SGLang Inference Engines on TPU

AI 摘要

Google 在 PyTorch 相关公告中推出基于 TorchTPU 的 vLLM 和 SGLang 原生 PyTorch 推理引擎,分别与 Inferact、RadixArk 合作开发,让开发者用熟悉的 PyTorch 工具在 TPU 上部署模型。

关键信息

  • Google 在 PyTorch 相关公告中推出基于 TorchTPU 的 vLLM 和 SGLang 原生 PyTorch 推理引擎
  • 分别与 Inferact、RadixArk 合作开发,让开发者用熟悉的 PyTorch 工具在 TPU 上部署模型
  • 原文给出两套 PyTorch 原生 TPU 推理引擎的功能清单、公开基准成本和开源入口,读者可据此评估把现有 PyTorch 服务栈迁到 TPU 的可行性

速览

发布时间
更新时间
来源
Google Developers Blog(RSS)
分类
产品与应用
主题
产品更新开源生态部署工程
AI 评分
71
阅读原文 前往信息源阅读完整正文
推荐理由

原文给出两套 PyTorch 原生 TPU 推理引擎的功能清单、公开基准成本和开源入口,读者可据此评估把现有 PyTorch 服务栈迁到 TPU 的可行性。

相关主题

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:Google 发布 vLLM 与 SGLang 的 TorchTPU 原生推理引擎。2026年10月20日。https://new.nat6.net/news/mlusnw9gi199uld4ixj58m2cz/

查看全部 →