Tutoriels et astuces

Libérer l'asynchronisme dans le traitement par lots continu

Titre original:Unlocking asynchronicity in continuous batching

Résumé IA

Dans le traitement par lots continu, l'approche synchrone fait alterner le travail du CPU et du GPU, ce qui entraîne des périodes d'inactivité. Les tests montrent qu'avec un modèle 8B générant 8K tokens, le GPU reste inactif 24 % du temps. Le traitement par lots asynchrone sépare les charges de travail : le CPU prépare le lot suivant (N+1) pendant que le GPU calcule le lot courant (N), éliminant ainsi les intervalles d'inactivité. Cela peut être réalisé via les flux CUDA pour paralléliser les opérations, sans modifier les kernels ni le modèle, en coordonnant simplement l'ordre d'exécution matériel. En théorie, cette méthode peut réduire le temps total de génération de 300,6 secondes à 228 secondes, soit une accélération gratuite de 24 %. La technologie concernée a été intégrée au traitement par lots continu de la bibliothèque transformers, améliorant significativement les performances d'inférence.

Points clés

  • Dans le traitement par lots continu,l'approche synchrone fait alterner le travail du CPU et du…
  • Les tests montrent qu'avec un modèle 8B générant 8K tokens,le GPU reste inactif 24 % du temps.
  • Le traitement par lots asynchrone sépare les charges de travail: le CPU prépare le lot suivant…
  • Cela peut être réalisé via les flux CUDA pour paralléliser les opérations,sans modifier les…
  • En théorie,cette méthode peut réduire le temps total de génération de 300,6 secondes à 228…

En bref

Publié
Mis à jour
Source
Hugging Face 社区博客(混合发现)
Catégorie
Tutoriels et astuces
Score IA
59
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

文章手把手拆解了异步批处理如何用CUDA流和事件消除CPU与GPU的互相等待,把推理吞吐提升22%,搞推理优化的工程师值得细读。

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Libérer l'asynchronisme dans le traitement par lots continu. 14. mai 2026. https://new.nat6.net/fr/news/cmp5lopxg0fafsljxgkro5pka/

Tout voir →