製品とアプリ

高効率オフライン推論フレームワークFlood:スループットで大幅に先行、マルチモーダルと量子化をサポート

原題:inclusionAI/flood

AI 要約

Floodはオフラインアプリケーション向けの高効率な大規模言語モデル推論フレームワークである。パイプライン並列で通信オーバーヘッドを削減し、セグメント式KVキャッシュ管理で連続性を高める。連続バッチ処理、チャンク化プリフィル、FP8/INT8量子化、マルチモーダルモデル推論をサポートする。性能テストでは、多様なモデルとハードウェアでスループットが最大vLLMの2.4倍に達した。専用カーネルSegmentAttentionは長いシーケンス処理時、デコード速度がFlashAttentionより最大3.16倍向上する。プロジェクトは2025年3月にオープンソース化され急速に反復され、投機的デコードなどの新機能もサポートしている。

要点

  • Floodはオフラインアプリケーション向けの高効率な大規模言語モデル推論フレームワークである。
  • パイプライン並列で通信オーバーヘッドを削減し、セグメント式KVキャッシュ管理で連続性を高める。
  • 連続バッチ処理、チャンク化プリフィル、FP8/INT8量子化、マルチモーダルモデル推論をサポートする。
  • 性能テストでは、多様なモデルとハードウェアでスループットが最大vLLMの2.
  • 4倍に達した。

概要

公開日時
更新日時
出典
蚂蚁 inclusionAI:GitHub 新仓库
カテゴリ
製品とアプリ
AI スコア
61
原文を読む 情報源で全文を読む
おすすめの理由

蚂蚁的 FLOOD 框架用流水线并行替代张量并行来压通信开销,实测吞吐比 vLLM 高 1.4 到 2.4 倍,做离线推理部署的团队值得花半小时跑一下 benchmark 看看自家场景能不能吃这个红利。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:高効率オフライン推論フレームワークFlood:スループットで大幅に先行、マルチモーダルと量子化をサポート。2026年1月30日。https://new.nat6.net/ja/news/cmorb7ik3006sslhfoasz9t4c/

すべて見る →