Efficient offline inference framework na Flood: malinaw na nangunguna sa throughput, sumusuporta sa multimodal at quantization
Orihinal na pamagat:inclusionAI/flood
AI summary
Ang Flood ay isang efficient large language model inference framework para sa offline applications. Gumagamit ito ng pipeline parallelism para bawasan ang communication overhead, at pinapabuti ang continuity sa pamamagitan ng segmented KV cache management. Sinusuportahan ng framework ang continuous batching, chunked prefill, FP8/INT8 quantization, at multimodal model inference. Ipinapakita ng performance tests na ang throughput nito sa iba't ibang modelo at hardware ay umaabot hanggang 2.4 beses kaysa sa vLLM. Ang dedicated kernel nitong SegmentAttention, kapag humahawak ng mahabang sequence, ay may decoding speed na hanggang 3.16 beses na mas mabilis kaysa sa FlashAttention. Open source ang proyektong ito noong Marso 2025 at mabilis na umuunlad, at sinusuportahan na ang mga bagong feature tulad ng lookahead decoding.
Mahahalagang impormasyon
- Ang Flood ay isang efficient large language model inference framework para sa offline applications.
- Gumagamit ito ng pipeline parallelism para bawasan ang communication overhead,at pinapabuti ang…
- Sinusuportahan ng framework ang continuous batching,chunked prefill,FP8/INT8 quantization,at…
- Ipinapakita ng performance tests na ang throughput nito sa iba't ibang modelo at hardware ay…
- 4 beses kaysa sa vLLM.
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- 蚂蚁 inclusionAI:GitHub 新仓库
- Kategorya
- Mga produkto at aplikasyon
- AI na marka
- 61
蚂蚁的 FLOOD 框架用流水线并行替代张量并行来压通信开销,实测吞吐比 vLLM 高 1.4 到 2.4 倍,做离线推理部署的团队值得花半小时跑一下 benchmark 看看自家场景能不能吃这个红利。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Efficient offline inference framework na Flood: malinaw na nangunguna sa throughput, sumusuporta sa multimodal at quantization. 30 Enero 2026. https://new.nat6.net/fil/news/cmorb7ik3006sslhfoasz9t4c/