Sản phẩm & ứng dụng

Flood, khung suy luận ngoại tuyến hiệu quả: thông lượng dẫn đầu rõ rệt, hỗ trợ đa phương thức và lượng tử hóa

Tiêu đề gốc:inclusionAI/flood

Tóm tắt AI

Flood là khung suy luận mô hình ngôn ngữ lớn hiệu quả dành cho ứng dụng ngoại tuyến. Khung sử dụng song song đường ống để giảm chi phí truyền thông và quản lý bộ nhớ đệm KV phân đoạn để tăng tính liên tục. Khung hỗ trợ xử lý theo lô liên tục, điền trước theo khối, lượng tử hóa FP8/INT8 và suy luận mô hình đa phương thức. Kiểm thử hiệu năng cho thấy thông lượng trên nhiều mô hình và phần cứng đạt tối đa gấp 2,4 lần vLLM. Nhân chuyên dụng SegmentAttention khi xử lý chuỗi dài có tốc độ giải mã nhanh hơn FlashAttention tối đa 3,16 lần. Dự án được mở mã nguồn từ tháng 3/2025 và lặp lại nhanh chóng, đã hỗ trợ các tính năng mới như giải mã nhìn trước.

Thông tin chính

  • Flood là khung suy luận mô hình ngôn ngữ lớn hiệu quả dành cho ứng dụng ngoại tuyến.
  • Khung sử dụng song song đường ống để giảm chi phí truyền thông và quản lý bộ nhớ đệm KV phân đoạn…
  • Khung hỗ trợ xử lý theo lô liên tục,điền trước theo khối,lượng tử hóa FP8/INT8 và suy luận mô hình…
  • Kiểm thử hiệu năng cho thấy thông lượng trên nhiều mô hình và phần cứng đạt tối đa gấp 2,4 lần vLLM.
  • Nhân chuyên dụng SegmentAttention khi xử lý chuỗi dài có tốc độ giải mã nhanh hơn FlashAttention…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
蚂蚁 inclusionAI:GitHub 新仓库
Danh mục
Sản phẩm & ứng dụng
Điểm AI
61
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

蚂蚁的 FLOOD 框架用流水线并行替代张量并行来压通信开销,实测吞吐比 vLLM 高 1.4 到 2.4 倍,做离线推理部署的团队值得花半小时跑一下 benchmark 看看自家场景能不能吃这个红利。

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Flood, khung suy luận ngoại tuyến hiệu quả: thông lượng dẫn đầu rõ rệt, hỗ trợ đa phương thức và lượng tử hóa. 30 tháng 1 2026. https://new.nat6.net/vi/news/cmorb7ik3006sslhfoasz9t4c/

Xem tất cả →