Produk & Aplikasi

vLLM laksana sokongan Day-0 TML Inkling dan selesaikan pengoptimuman prestasi penaakulan

Tajuk asal:TML Inkling on vLLM: Day-0 Support with Optimized Performance

Ringkasan AI

vLLM mengumumkan sokongan Day-0 untuk model multimodal 1T parameter Thinking Machines Lab, TML Inkling, merangkumi versi thinkingmachines/Inkling-NVFP4 dan BF16, menyokong input teks, imej dan audio serta konteks sehingga 1M token.

Maklumat penting

  • vLLM mengumumkan sokongan Day-0 untuk model multimodal 1T parameter Thinking Machines Lab
  • TML Inkling,merangkumi versi thinkingmachines/Inkling-NVFP4 dan BF16
  • menyokong input teks,imej dan audio serta konteks sehingga 1M token.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
vLLM 官方博客(RSS)
Kategori
Produk & Aplikasi
Skor AI
74
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

原文给出 Day-0 支持的具体性能数字、架构优化细节和精度对比,读者可以评估该模型在自己的推理工作流中的可用性。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: vLLM laksana sokongan Day-0 TML Inkling dan selesaikan pengoptimuman prestasi penaakulan. 15 Julai 2026. https://new.nat6.net/ms/news/cmtym20dg000qrovu8y7mff6t/

Lihat Semua →