ผลิตภัณฑ์และแอป

Flood กรอบการอนุมานแบบออฟไลน์ประสิทธิภาพสูง ปริมาณงานนำหน้าอย่างชัดเจน รองรับมัลติโมดัลและการควอนไทซ์

หัวข้อต้นฉบับ:inclusionAI/flood

สรุปโดย AI

Flood เป็นกรอบการอนุมานโมเดลภาษาขนาดใหญ่ประสิทธิภาพสูงสำหรับการใช้งานแบบออฟไลน์ ใช้การขนานแบบไปป์ไลน์เพื่อลดค่าใช้จ่ายในการสื่อสาร และจัดการแคช KV แบบแบ่งส่วนเพื่อเพิ่มความต่อเนื่อง กรอบนี้รองรับการประมวลผลแบบกลุ่มต่อเนื่อง การเติมล่วงหน้าแบบแบ่งบล็อก การควอนไทซ์ FP8/INT8 และการอนุมานโมเดลมัลติโมดัล ผลการทดสอบประสิทธิภาพแสดงว่าปริมาณงานบนโมเดลและฮาร์ดแวร์ที่หลากหลายสูงถึง 2.4 เท่าของ vLLM เคอร์เนลเฉพาะ SegmentAttention มีความเร็วในการถอดรหัสสูงกว่าสูงสุด 3.16 เท่าเมื่อเทียบกับ FlashAttention ในการประมวลผลลำดับยาว โครงการนี้เปิดโอเพนซอร์สในเดือนมีนาคม 2025 และพัฒนาอย่างรวดเร็ว รองรับคุณสมบัติใหม่ เช่น การถอดรหัสแบบคาดการณ์ล่วงหน้า

ข้อมูลสำคัญ

  • Flood เป็นกรอบการอนุมานโมเดลภาษาขนาดใหญ่ประสิทธิภาพสูงสำหรับการใช้งานแบบออฟไลน์…
  • 4 เท่าของ vLLM เคอร์เนลเฉพาะ SegmentAttention มีความเร็วในการถอดรหัสสูงกว่าสูงสุด 3.
  • 16 เท่าเมื่อเทียบกับ FlashAttention ในการประมวลผลลำดับยาว โครงการนี้เปิดโอเพนซอร์สในเดือนมีนาคม…

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
蚂蚁 inclusionAI:GitHub 新仓库
หมวดหมู่
ผลิตภัณฑ์และแอป
คะแนน AI
61
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

蚂蚁的 FLOOD 框架用流水线并行替代张量并行来压通信开销,实测吞吐比 vLLM 高 1.4 到 2.4 倍,做离线推理部署的团队值得花半小时跑一下 benchmark 看看自家场景能不能吃这个红利。

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: Flood กรอบการอนุมานแบบออฟไลน์ประสิทธิภาพสูง ปริมาณงานนำหน้าอย่างชัดเจน รองรับมัลติโมดัลและการควอนไทซ์ 30 มกราคม 2026 https://new.nat6.net/th/news/cmorb7ik3006sslhfoasz9t4c/

ดูทั้งหมด →