产品与应用

高效离线推理框架 Flood:吞吐量显著领先,支持多模态与量化

原文标题:inclusionAI/flood

AI 摘要

Flood 是一款面向离线应用的高效大语言模型推理框架。它采用流水线并行降低通信开销,并通过分段式KV缓存管理提升连续性。框架支持连续批处理、分块预填充、FP8/INT8量化及多模态模型推理。性能测试表明,其在多种模型和硬件上的吞吐量最高可达 vLLM 的 2.4 倍。其专用内核 SegmentAttention 在处理长序列时,解码速度较 FlashAttention 最高提升 3.16 倍。该项目于 2025 年 3 月开源并快速迭代,已支持前瞻解码等新特性。

关键信息

  • Flood 是一款面向离线应用的高效大语言模型推理框架。
  • 它采用流水线并行降低通信开销,并通过分段式KV缓存管理提升连续性。
  • 框架支持连续批处理、分块预填充、FP8/INT8量化及多模态模型推理。
  • 性能测试表明,其在多种模型和硬件上的吞吐量最高可达 vLLM 的 2.
  • 其专用内核 SegmentAttention 在处理长序列时,解码速度较 FlashAttention 最高提升 3.

速览

发布时间
更新时间
来源
蚂蚁 inclusionAI:GitHub 新仓库
分类
产品与应用
AI 评分
61
阅读原文 前往信息源阅读完整正文
推荐理由

蚂蚁的 FLOOD 框架用流水线并行替代张量并行来压通信开销,实测吞吐比 vLLM 高 1.4 到 2.4 倍,做离线推理部署的团队值得花半小时跑一下 benchmark 看看自家场景能不能吃这个红利。

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:高效离线推理框架 Flood:吞吐量显著领先,支持多模态与量化。2026年1月30日。https://new.nat6.net/news/cmorb7ik3006sslhfoasz9t4c/

查看全部 →