Mga produkto at aplikasyon

Efficient offline inference framework na Flood: malinaw na nangunguna sa throughput, sumusuporta sa multimodal at quantization

Orihinal na pamagat:inclusionAI/flood

AI summary

Ang Flood ay isang efficient large language model inference framework para sa offline applications. Gumagamit ito ng pipeline parallelism para bawasan ang communication overhead, at pinapabuti ang continuity sa pamamagitan ng segmented KV cache management. Sinusuportahan ng framework ang continuous batching, chunked prefill, FP8/INT8 quantization, at multimodal model inference. Ipinapakita ng performance tests na ang throughput nito sa iba't ibang modelo at hardware ay umaabot hanggang 2.4 beses kaysa sa vLLM. Ang dedicated kernel nitong SegmentAttention, kapag humahawak ng mahabang sequence, ay may decoding speed na hanggang 3.16 beses na mas mabilis kaysa sa FlashAttention. Open source ang proyektong ito noong Marso 2025 at mabilis na umuunlad, at sinusuportahan na ang mga bagong feature tulad ng lookahead decoding.

Mahahalagang impormasyon

  • Ang Flood ay isang efficient large language model inference framework para sa offline applications.
  • Gumagamit ito ng pipeline parallelism para bawasan ang communication overhead,at pinapabuti ang…
  • Sinusuportahan ng framework ang continuous batching,chunked prefill,FP8/INT8 quantization,at…
  • Ipinapakita ng performance tests na ang throughput nito sa iba't ibang modelo at hardware ay…
  • 4 beses kaysa sa vLLM.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
蚂蚁 inclusionAI:GitHub 新仓库
Kategorya
Mga produkto at aplikasyon
AI na marka
61
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

蚂蚁的 FLOOD 框架用流水线并行替代张量并行来压通信开销,实测吞吐比 vLLM 高 1.4 到 2.4 倍,做离线推理部署的团队值得花半小时跑一下 benchmark 看看自家场景能不能吃这个红利。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Efficient offline inference framework na Flood: malinaw na nangunguna sa throughput, sumusuporta sa multimodal at quantization. 30 Enero 2026. https://new.nat6.net/fil/news/cmorb7ik3006sslhfoasz9t4c/

Tingnan lahat →