Produk & Aplikasi

Google lancar enjin inferens asli TorchTPU untuk vLLM dan SGLang

Tajuk asal:Announcing New vLLM and SGLang Inference Engines on TPU

Ringkasan AI

Google memperkenalkan enjin inferens PyTorch asli vLLM dan SGLang berasaskan TorchTPU dalam pengumuman berkaitan PyTorch, masing-masing dibangunkan bersama Inferact dan RadixArk, membolehkan pembangun menggunakan alat PyTorch yang biasa untuk deploy model pada TPU.

Maklumat penting

  • Google memperkenalkan enjin inferens PyTorch asli vLLM dan SGLang berasaskan TorchTPU dalam…
  • masing-masing dibangunkan bersama Inferact dan RadixArk
  • membolehkan pembangun menggunakan alat PyTorch yang biasa untuk deploy model pada TPU.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
Google Developers Blog(RSS)
Kategori
Produk & Aplikasi
Topik
Kemas kini produkEkosistem sumber terbukaKejuruteraan penggunaan
Skor AI
71
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

原文给出两套 PyTorch 原生 TPU 推理引擎的功能清单、公开基准成本和开源入口,读者可据此评估把现有 PyTorch 服务栈迁到 TPU 的可行性。

Topik berkaitan

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Google lancar enjin inferens asli TorchTPU untuk vLLM dan SGLang. 20 Oktober 2026. https://new.nat6.net/ms/news/mlusnw9gi199uld4ixj58m2cz/

Lihat Semua →