Produk & Aplikasi

Flood, rangka kerja penaakulan luar talian cekap: daya pemprosesan jauh mendahului, menyokong multimodal dan kuantisasi

Tajuk asal:inclusionAI/flood

Ringkasan AI

Flood ialah rangka kerja penaakulan model bahasa besar cekap yang ditujukan untuk aplikasi luar talian. Ia menggunakan keselarian saluran paip untuk mengurangkan overhed komunikasi dan meningkatkan kesinambungan melalui pengurusan cache KV bersegmen. Rangka kerja ini menyokong pemprosesan kelompok berterusan, prapengisian berkelompok, kuantisasi FP8/INT8 dan penaakulan model multimodal. Ujian prestasi menunjukkan daya pemprosesannya sehingga 2.4 kali ganda vLLM merentas pelbagai model dan perkakasan. Kernel khususnya SegmentAttention meningkatkan kelajuan penyahkodan sehingga 3.16 kali ganda berbanding FlashAttention semasa memproses jujukan panjang. Projek ini dikeluarkan sebagai sumber terbuka pada Mac 2025 dan berkembang pesat, kini menyokong ciri baharu seperti penyahkodan pandangan ke hadapan.

Maklumat penting

  • Flood ialah rangka kerja penaakulan model bahasa besar cekap yang ditujukan untuk aplikasi luar…
  • Ia menggunakan keselarian saluran paip untuk mengurangkan overhed komunikasi dan meningkatkan…
  • Rangka kerja ini menyokong pemprosesan kelompok berterusan,prapengisian berkelompok,kuantisasi…
  • Ujian prestasi menunjukkan daya pemprosesannya sehingga 2.
  • 4 kali ganda vLLM merentas pelbagai model dan perkakasan.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
蚂蚁 inclusionAI:GitHub 新仓库
Kategori
Produk & Aplikasi
Skor AI
61
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

蚂蚁的 FLOOD 框架用流水线并行替代张量并行来压通信开销,实测吞吐比 vLLM 高 1.4 到 2.4 倍,做离线推理部署的团队值得花半小时跑一下 benchmark 看看自家场景能不能吃这个红利。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Flood, rangka kerja penaakulan luar talian cekap: daya pemprosesan jauh mendahului, menyokong multimodal dan kuantisasi. 30 Januari 2026. https://new.nat6.net/ms/news/cmorb7ik3006sslhfoasz9t4c/

Lihat Semua →