Google lance des moteurs d'inférence natifs TorchTPU pour vLLM et SGLang
Titre original:Announcing New vLLM and SGLang Inference Engines on TPU
Résumé IA
Dans une annonce liée à PyTorch, Google présente les moteurs d'inférence PyTorch natifs vLLM et SGLang basés sur TorchTPU, développés respectivement avec Inferact et RadixArk, afin de permettre aux développeurs de déployer des modèles sur TPU avec les outils PyTorch qu'ils connaissent.
Points clés
- Dans une annonce liée à PyTorch,Google présente les moteurs d'inférence PyTorch natifs vLLM et…
- développés respectivement avec Inferact et RadixArk
- afin de permettre aux développeurs de déployer des modèles sur TPU avec les outils PyTorch qu'ils…
En bref
- Publié
- Mis à jour
- Source
- Google Developers Blog(RSS)
- Catégorie
- Produits et applications
- Score IA
- 71
原文给出两套 PyTorch 原生 TPU 推理引擎的功能清单、公开基准成本和开源入口,读者可据此评估把现有 PyTorch 服务栈迁到 TPU 的可行性。
Sujets
Entités associées
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Google lance des moteurs d'inférence natifs TorchTPU pour vLLM et SGLang. 20. octobre 2026. https://new.nat6.net/fr/news/mlusnw9gi199uld4ixj58m2cz/