Flood, framework d'inférence hors ligne efficace : débit nettement supérieur, support du multimodal et de la quantification
Titre original:inclusionAI/flood
Résumé IA
Flood est un framework d'inférence efficace pour grands modèles de langage destiné aux applications hors ligne. Il recourt au parallélisme pipeline pour réduire les coûts de communication et améliore la continuité grâce à une gestion segmentée du cache KV. Le framework prend en charge le traitement par lots continu, le préremplissage par blocs, la quantification FP8/INT8 et l'inférence de modèles multimodaux. Les tests de performance montrent un débit jusqu'à 2,4 fois supérieur à celui de vLLM sur divers modèles et matériels. Son noyau dédié SegmentAttention accélère le décodage des longues séquences jusqu'à 3,16 fois par rapport à FlashAttention. Le projet a été open source en mars 2025 et évolue rapidement, avec déjà la prise en charge de fonctionnalités telles que le décodage spéculatif.
Points clés
- Flood est un framework d'inférence efficace pour grands modèles de langage destiné aux…
- Il recourt au parallélisme pipeline pour réduire les coûts de communication et améliore la…
- Le framework prend en charge le traitement par lots continu,le préremplissage par blocs,la…
- Les tests de performance montrent un débit jusqu'à 2,4 fois supérieur à celui de vLLM sur divers…
- Son noyau dédié SegmentAttention accélère le décodage des longues séquences jusqu'à 3,16 fois par…
En bref
- Publié
- Mis à jour
- Source
- 蚂蚁 inclusionAI:GitHub 新仓库
- Catégorie
- Produits et applications
- Score IA
- 61
蚂蚁的 FLOOD 框架用流水线并行替代张量并行来压通信开销,实测吞吐比 vLLM 高 1.4 到 2.4 倍,做离线推理部署的团队值得花半小时跑一下 benchmark 看看自家场景能不能吃这个红利。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Flood, framework d'inférence hors ligne efficace : débit nettement supérieur, support du multimodal et de la quantification. 30. janvier 2026. https://new.nat6.net/fr/news/cmorb7ik3006sslhfoasz9t4c/