Tutorial dan petua

Membuka kunci asinkroni dalam pemprosesan kelompok berterusan

Tajuk asal:Unlocking asynchronicity in continuous batching

Ringkasan AI

Dalam pemprosesan kelompok berterusan, kaedah segerak menyebabkan CPU dan GPU bekerja secara bergilir, mengakibatkan pembaziran melahu. Ujian menunjukkan bahawa apabila menggunakan model 8B untuk menjana 8K token, GPU melahu 24% daripada masa. Pemprosesan kelompok asinkron memisahkan beban kerja, membolehkan CPU menyediakan kelompok seterusnya (N+1) sambil GPU mengira kelompok semasa (N), sekali gus menghapuskan jurang melahu. Ini boleh dicapai melalui aliran CUDA untuk konkurensi operasi, tanpa mengubah kernel atau model, hanya perlu menyelaraskan urutan pelaksanaan perkakasan. Secara teori, kaedah ini boleh mengurangkan jumlah masa penjanaan daripada 300.6 saat kepada 228 saat, mencapai pecutan percuma 24%. Teknologi berkaitan telah disepadukan ke dalam pemprosesan kelompok berterusan pustaka transformers, meningkatkan prestasi penaakulan dengan ketara.

Maklumat penting

  • Dalam pemprosesan kelompok berterusan,kaedah segerak menyebabkan CPU dan GPU bekerja secara…
  • Ujian menunjukkan bahawa apabila menggunakan model 8B untuk menjana 8K token,GPU melahu 24%…
  • Pemprosesan kelompok asinkron memisahkan beban kerja,membolehkan CPU menyediakan kelompok…
  • Ini boleh dicapai melalui aliran CUDA untuk konkurensi operasi,tanpa mengubah kernel atau…
  • Secara teori,kaedah ini boleh mengurangkan jumlah masa penjanaan daripada 300.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
Hugging Face 社区博客(混合发现)
Kategori
Tutorial dan petua
Skor AI
59
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

文章手把手拆解了异步批处理如何用CUDA流和事件消除CPU与GPU的互相等待,把推理吞吐提升22%,搞推理优化的工程师值得细读。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Membuka kunci asinkroni dalam pemprosesan kelompok berterusan. 14 Mei 2026. https://new.nat6.net/ms/news/cmp5lopxg0fafsljxgkro5pka/

Lihat Semua →