Membuka kunci asinkroni dalam pemprosesan kelompok berterusan
Tajuk asal:Unlocking asynchronicity in continuous batching
Ringkasan AI
Dalam pemprosesan kelompok berterusan, kaedah segerak menyebabkan CPU dan GPU bekerja secara bergilir, mengakibatkan pembaziran melahu. Ujian menunjukkan bahawa apabila menggunakan model 8B untuk menjana 8K token, GPU melahu 24% daripada masa. Pemprosesan kelompok asinkron memisahkan beban kerja, membolehkan CPU menyediakan kelompok seterusnya (N+1) sambil GPU mengira kelompok semasa (N), sekali gus menghapuskan jurang melahu. Ini boleh dicapai melalui aliran CUDA untuk konkurensi operasi, tanpa mengubah kernel atau model, hanya perlu menyelaraskan urutan pelaksanaan perkakasan. Secara teori, kaedah ini boleh mengurangkan jumlah masa penjanaan daripada 300.6 saat kepada 228 saat, mencapai pecutan percuma 24%. Teknologi berkaitan telah disepadukan ke dalam pemprosesan kelompok berterusan pustaka transformers, meningkatkan prestasi penaakulan dengan ketara.
Maklumat penting
- Dalam pemprosesan kelompok berterusan,kaedah segerak menyebabkan CPU dan GPU bekerja secara…
- Ujian menunjukkan bahawa apabila menggunakan model 8B untuk menjana 8K token,GPU melahu 24%…
- Pemprosesan kelompok asinkron memisahkan beban kerja,membolehkan CPU menyediakan kelompok…
- Ini boleh dicapai melalui aliran CUDA untuk konkurensi operasi,tanpa mengubah kernel atau…
- Secara teori,kaedah ini boleh mengurangkan jumlah masa penjanaan daripada 300.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- Hugging Face 社区博客(混合发现)
- Kategori
- Tutorial dan petua
- Skor AI
- 59
文章手把手拆解了异步批处理如何用CUDA流和事件消除CPU与GPU的互相等待,把推理吞吐提升22%,搞推理优化的工程师值得细读。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Membuka kunci asinkroni dalam pemprosesan kelompok berterusan. 14 Mei 2026. https://new.nat6.net/ms/news/cmp5lopxg0fafsljxgkro5pka/