Produk & Aplikasi

Flood, kerangka penalaran offline efisien: throughput unggul signifikan, mendukung multimodal dan kuantisasi

Judul asli:inclusionAI/flood

Ringkasan AI

Flood adalah kerangka penalaran model bahasa besar yang efisien untuk aplikasi offline. Kerangka ini menggunakan paralelisme pipeline untuk mengurangi biaya komunikasi dan meningkatkan kontinuitas melalui manajemen cache KV tersegmentasi. Kerangka ini mendukung pemrosesan batch berkelanjutan, pra-pengisian terpotong, kuantisasi FP8/INT8, dan penalaran model multimodal. Pengujian performa menunjukkan throughput-nya hingga 2,4 kali lipat vLLM pada berbagai model dan perangkat keras. Kernel khususnya, SegmentAttention, meningkatkan kecepatan dekode hingga 3,16 kali lipat dibandingkan FlashAttention saat memproses sekuens panjang. Proyek ini dirilis sebagai sumber terbuka pada Maret 2025 dan berkembang pesat, serta telah mendukung fitur baru seperti dekode prospektif.

Poin utama

  • Flood adalah kerangka penalaran model bahasa besar yang efisien untuk aplikasi offline.
  • Kerangka ini menggunakan paralelisme pipeline untuk mengurangi biaya komunikasi dan meningkatkan…
  • Kerangka ini mendukung pemrosesan batch berkelanjutan,pra-pengisian terpotong,kuantisasi…
  • Pengujian performa menunjukkan throughput-nya hingga 2,4 kali lipat vLLM pada berbagai model dan…
  • Kernel khususnya,SegmentAttention,meningkatkan kecepatan dekode hingga 3,16 kali lipat…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
蚂蚁 inclusionAI:GitHub 新仓库
Kategori
Produk & Aplikasi
Skor AI
61
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

蚂蚁的 FLOOD 框架用流水线并行替代张量并行来压通信开销,实测吞吐比 vLLM 高 1.4 到 2.4 倍,做离线推理部署的团队值得花半小时跑一下 benchmark 看看自家场景能不能吃这个红利。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Flood, kerangka penalaran offline efisien: throughput unggul signifikan, mendukung multimodal dan kuantisasi. 30 Januari 2026. https://new.nat6.net/id/news/cmorb7ik3006sslhfoasz9t4c/

Lihat semua →