Flood, kerangka penalaran offline efisien: throughput unggul signifikan, mendukung multimodal dan kuantisasi
Judul asli:inclusionAI/flood
Ringkasan AI
Flood adalah kerangka penalaran model bahasa besar yang efisien untuk aplikasi offline. Kerangka ini menggunakan paralelisme pipeline untuk mengurangi biaya komunikasi dan meningkatkan kontinuitas melalui manajemen cache KV tersegmentasi. Kerangka ini mendukung pemrosesan batch berkelanjutan, pra-pengisian terpotong, kuantisasi FP8/INT8, dan penalaran model multimodal. Pengujian performa menunjukkan throughput-nya hingga 2,4 kali lipat vLLM pada berbagai model dan perangkat keras. Kernel khususnya, SegmentAttention, meningkatkan kecepatan dekode hingga 3,16 kali lipat dibandingkan FlashAttention saat memproses sekuens panjang. Proyek ini dirilis sebagai sumber terbuka pada Maret 2025 dan berkembang pesat, serta telah mendukung fitur baru seperti dekode prospektif.
Poin utama
- Flood adalah kerangka penalaran model bahasa besar yang efisien untuk aplikasi offline.
- Kerangka ini menggunakan paralelisme pipeline untuk mengurangi biaya komunikasi dan meningkatkan…
- Kerangka ini mendukung pemrosesan batch berkelanjutan,pra-pengisian terpotong,kuantisasi…
- Pengujian performa menunjukkan throughput-nya hingga 2,4 kali lipat vLLM pada berbagai model dan…
- Kernel khususnya,SegmentAttention,meningkatkan kecepatan dekode hingga 3,16 kali lipat…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- 蚂蚁 inclusionAI:GitHub 新仓库
- Kategori
- Produk & Aplikasi
- Skor AI
- 61
蚂蚁的 FLOOD 框架用流水线并行替代张量并行来压通信开销,实测吞吐比 vLLM 高 1.4 到 2.4 倍,做离线推理部署的团队值得花半小时跑一下 benchmark 看看自家场景能不能吃这个红利。
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Flood, kerangka penalaran offline efisien: throughput unggul signifikan, mendukung multimodal dan kuantisasi. 30 Januari 2026. https://new.nat6.net/id/news/cmorb7ik3006sslhfoasz9t4c/