Flood, rangka kerja penaakulan luar talian cekap: daya pemprosesan jauh mendahului, menyokong multimodal dan kuantisasi
Tajuk asal:inclusionAI/flood
Ringkasan AI
Flood ialah rangka kerja penaakulan model bahasa besar cekap yang ditujukan untuk aplikasi luar talian. Ia menggunakan keselarian saluran paip untuk mengurangkan overhed komunikasi dan meningkatkan kesinambungan melalui pengurusan cache KV bersegmen. Rangka kerja ini menyokong pemprosesan kelompok berterusan, prapengisian berkelompok, kuantisasi FP8/INT8 dan penaakulan model multimodal. Ujian prestasi menunjukkan daya pemprosesannya sehingga 2.4 kali ganda vLLM merentas pelbagai model dan perkakasan. Kernel khususnya SegmentAttention meningkatkan kelajuan penyahkodan sehingga 3.16 kali ganda berbanding FlashAttention semasa memproses jujukan panjang. Projek ini dikeluarkan sebagai sumber terbuka pada Mac 2025 dan berkembang pesat, kini menyokong ciri baharu seperti penyahkodan pandangan ke hadapan.
Maklumat penting
- Flood ialah rangka kerja penaakulan model bahasa besar cekap yang ditujukan untuk aplikasi luar…
- Ia menggunakan keselarian saluran paip untuk mengurangkan overhed komunikasi dan meningkatkan…
- Rangka kerja ini menyokong pemprosesan kelompok berterusan,prapengisian berkelompok,kuantisasi…
- Ujian prestasi menunjukkan daya pemprosesannya sehingga 2.
- 4 kali ganda vLLM merentas pelbagai model dan perkakasan.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- 蚂蚁 inclusionAI:GitHub 新仓库
- Kategori
- Produk & Aplikasi
- Skor AI
- 61
蚂蚁的 FLOOD 框架用流水线并行替代张量并行来压通信开销,实测吞吐比 vLLM 高 1.4 到 2.4 倍,做离线推理部署的团队值得花半小时跑一下 benchmark 看看自家场景能不能吃这个红利。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Flood, rangka kerja penaakulan luar talian cekap: daya pemprosesan jauh mendahului, menyokong multimodal dan kuantisasi. 30 Januari 2026. https://new.nat6.net/ms/news/cmorb7ik3006sslhfoasz9t4c/