Kertas penyelidikan

Fast, faster, Qwen. 🚀

Tajuk asal:Fast, faster, Qwen. 🚀 Thrilled to see Qwen3.5 reaching a record-breaking 580 tps for agentic workl...

Ringkasan AI

Qwen3.5 pada enjin inferens TokenSpeed mencapai kelajuan rekod 580 tokens per second (tps) untuk beban kerja ejen. Pencapaian ini direalisasikan bersama oleh pasukan inferens Qwen, pasukan TokenSpeed Yayasan lightseekorg, NVIDIA dan pasukan Mooncake, serta menggunakan pengoptimuman FlashAttention-4 (FA4) oleh tri_dao. Pencapaian ini menandakan sempadan prestasi inferens model bahasa besar sumber terbuka telah diperluas, butiran lanjut boleh didapati dalam blog komuniti PyTorch.

Maklumat penting

  • 5 pada enjin inferens TokenSpeed mencapai kelajuan rekod 580 tokens per second (tps) untuk beban…
  • Pencapaian ini direalisasikan bersama oleh pasukan inferens Qwen,pasukan TokenSpeed Yayasan…
  • Pencapaian ini menandakan sempadan prestasi inferens model bahasa besar sumber terbuka telah…

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
X:通义千问 / Qwen (@Alibaba_Qwen)
Kategori
Kertas penyelidikan
Skor AI
69
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

Qwen3.5在TokenSpeed上跑出580 tps,这是开源LLM推理的极限突破,对agent类应用是实实在在的性能跃进,PyTorch这篇博客值得每一个做推理部署的细读。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Fast, faster, Qwen. 🚀. 28 Mei 2026. https://new.nat6.net/ms/news/cmpobap4x04leslv4yn3zhvqo/

Lihat Semua →