Google lancar enjin inferens asli TorchTPU untuk vLLM dan SGLang
Tajuk asal:Announcing New vLLM and SGLang Inference Engines on TPU
Ringkasan AI
Google memperkenalkan enjin inferens PyTorch asli vLLM dan SGLang berasaskan TorchTPU dalam pengumuman berkaitan PyTorch, masing-masing dibangunkan bersama Inferact dan RadixArk, membolehkan pembangun menggunakan alat PyTorch yang biasa untuk deploy model pada TPU.
Maklumat penting
- Google memperkenalkan enjin inferens PyTorch asli vLLM dan SGLang berasaskan TorchTPU dalam…
- masing-masing dibangunkan bersama Inferact dan RadixArk
- membolehkan pembangun menggunakan alat PyTorch yang biasa untuk deploy model pada TPU.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- Google Developers Blog(RSS)
- Kategori
- Produk & Aplikasi
- Skor AI
- 71
原文给出两套 PyTorch 原生 TPU 推理引擎的功能清单、公开基准成本和开源入口,读者可据此评估把现有 PyTorch 服务栈迁到 TPU 的可行性。
Topik berkaitan
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Google lancar enjin inferens asli TorchTPU untuk vLLM dan SGLang. 20 Oktober 2026. https://new.nat6.net/ms/news/mlusnw9gi199uld4ixj58m2cz/