Produits et applications

Flood, framework d'inférence hors ligne efficace : débit nettement supérieur, support du multimodal et de la quantification

Titre original:inclusionAI/flood

Résumé IA

Flood est un framework d'inférence efficace pour grands modèles de langage destiné aux applications hors ligne. Il recourt au parallélisme pipeline pour réduire les coûts de communication et améliore la continuité grâce à une gestion segmentée du cache KV. Le framework prend en charge le traitement par lots continu, le préremplissage par blocs, la quantification FP8/INT8 et l'inférence de modèles multimodaux. Les tests de performance montrent un débit jusqu'à 2,4 fois supérieur à celui de vLLM sur divers modèles et matériels. Son noyau dédié SegmentAttention accélère le décodage des longues séquences jusqu'à 3,16 fois par rapport à FlashAttention. Le projet a été open source en mars 2025 et évolue rapidement, avec déjà la prise en charge de fonctionnalités telles que le décodage spéculatif.

Points clés

  • Flood est un framework d'inférence efficace pour grands modèles de langage destiné aux…
  • Il recourt au parallélisme pipeline pour réduire les coûts de communication et améliore la…
  • Le framework prend en charge le traitement par lots continu,le préremplissage par blocs,la…
  • Les tests de performance montrent un débit jusqu'à 2,4 fois supérieur à celui de vLLM sur divers…
  • Son noyau dédié SegmentAttention accélère le décodage des longues séquences jusqu'à 3,16 fois par…

En bref

Publié
Mis à jour
Source
蚂蚁 inclusionAI:GitHub 新仓库
Catégorie
Produits et applications
Score IA
61
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

蚂蚁的 FLOOD 框架用流水线并行替代张量并行来压通信开销,实测吞吐比 vLLM 高 1.4 到 2.4 倍,做离线推理部署的团队值得花半小时跑一下 benchmark 看看自家场景能不能吃这个红利。

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Flood, framework d'inférence hors ligne efficace : débit nettement supérieur, support du multimodal et de la quantification. 30. janvier 2026. https://new.nat6.net/fr/news/cmorb7ik3006sslhfoasz9t4c/

Tout voir →