Effizientes Offline-Inferenz-Framework Flood: deutlich führender Durchsatz, Unterstützung für Multimodalität und Quantisierung
Originaltitel:inclusionAI/flood
KI-Zusammenfassung
Flood ist ein effizientes Inferenz-Framework für große Sprachmodelle für Offline-Anwendungen. Es nutzt Pipeline-Parallelität zur Reduzierung des Kommunikationsaufwands und verbessert die Kontinuität durch segmentierte KV-Cache-Verwaltung. Das Framework unterstützt kontinuierliches Batching, chunked Prefill, FP8/INT8-Quantisierung und multimodale Modellinferenz. Leistungstests zeigen, dass der Durchsatz bei verschiedenen Modellen und Hardware bis zu 2,4-mal höher als bei vLLM liegt. Der spezialisierte Kernel SegmentAttention beschleunigt die Dekodierung bei langen Sequenzen um bis zu 3,16-mal im Vergleich zu FlashAttention. Das Projekt wurde im März 2025 als Open Source veröffentlicht und schnell weiterentwickelt; inzwischen werden neue Funktionen wie Lookahead-Decoding unterstützt.
Kernpunkte
- Flood ist ein effizientes Inferenz-Framework für große Sprachmodelle für Offline-Anwendungen.
- Es nutzt Pipeline-Parallelität zur Reduzierung des Kommunikationsaufwands und verbessert die…
- Das Framework unterstützt kontinuierliches Batching,chunked Prefill,FP8/INT8-Quantisierung und…
- Leistungstests zeigen,dass der Durchsatz bei verschiedenen Modellen und Hardware bis zu 2,4-mal…
- Der spezialisierte Kernel SegmentAttention beschleunigt die Dekodierung bei langen Sequenzen um…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- 蚂蚁 inclusionAI:GitHub 新仓库
- Kategorie
- Produkte & Apps
- KI-Bewertung
- 61
蚂蚁的 FLOOD 框架用流水线并行替代张量并行来压通信开销,实测吞吐比 vLLM 高 1.4 到 2.4 倍,做离线推理部署的团队值得花半小时跑一下 benchmark 看看自家场景能不能吃这个红利。
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Effizientes Offline-Inferenz-Framework Flood: deutlich führender Durchsatz, Unterstützung für Multimodalität und Quantisierung. 30. Januar 2026. https://new.nat6.net/de/news/cmorb7ik3006sslhfoasz9t4c/