Fast, faster, Qwen. 🚀
Tajuk asal:Fast, faster, Qwen. 🚀 Thrilled to see Qwen3.5 reaching a record-breaking 580 tps for agentic workl...
Ringkasan AI
Qwen3.5 pada enjin inferens TokenSpeed mencapai kelajuan rekod 580 tokens per second (tps) untuk beban kerja ejen. Pencapaian ini direalisasikan bersama oleh pasukan inferens Qwen, pasukan TokenSpeed Yayasan lightseekorg, NVIDIA dan pasukan Mooncake, serta menggunakan pengoptimuman FlashAttention-4 (FA4) oleh tri_dao. Pencapaian ini menandakan sempadan prestasi inferens model bahasa besar sumber terbuka telah diperluas, butiran lanjut boleh didapati dalam blog komuniti PyTorch.
Maklumat penting
- 5 pada enjin inferens TokenSpeed mencapai kelajuan rekod 580 tokens per second (tps) untuk beban…
- Pencapaian ini direalisasikan bersama oleh pasukan inferens Qwen,pasukan TokenSpeed Yayasan…
- Pencapaian ini menandakan sempadan prestasi inferens model bahasa besar sumber terbuka telah…
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Kategori
- Kertas penyelidikan
- Skor AI
- 69
Qwen3.5在TokenSpeed上跑出580 tps,这是开源LLM推理的极限突破,对agent类应用是实实在在的性能跃进,PyTorch这篇博客值得每一个做推理部署的细读。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Fast, faster, Qwen. 🚀. 28 Mei 2026. https://new.nat6.net/ms/news/cmpobap4x04leslv4yn3zhvqo/