Flood กรอบการอนุมานแบบออฟไลน์ประสิทธิภาพสูง ปริมาณงานนำหน้าอย่างชัดเจน รองรับมัลติโมดัลและการควอนไทซ์
หัวข้อต้นฉบับ:inclusionAI/flood
สรุปโดย AI
Flood เป็นกรอบการอนุมานโมเดลภาษาขนาดใหญ่ประสิทธิภาพสูงสำหรับการใช้งานแบบออฟไลน์ ใช้การขนานแบบไปป์ไลน์เพื่อลดค่าใช้จ่ายในการสื่อสาร และจัดการแคช KV แบบแบ่งส่วนเพื่อเพิ่มความต่อเนื่อง กรอบนี้รองรับการประมวลผลแบบกลุ่มต่อเนื่อง การเติมล่วงหน้าแบบแบ่งบล็อก การควอนไทซ์ FP8/INT8 และการอนุมานโมเดลมัลติโมดัล ผลการทดสอบประสิทธิภาพแสดงว่าปริมาณงานบนโมเดลและฮาร์ดแวร์ที่หลากหลายสูงถึง 2.4 เท่าของ vLLM เคอร์เนลเฉพาะ SegmentAttention มีความเร็วในการถอดรหัสสูงกว่าสูงสุด 3.16 เท่าเมื่อเทียบกับ FlashAttention ในการประมวลผลลำดับยาว โครงการนี้เปิดโอเพนซอร์สในเดือนมีนาคม 2025 และพัฒนาอย่างรวดเร็ว รองรับคุณสมบัติใหม่ เช่น การถอดรหัสแบบคาดการณ์ล่วงหน้า
ข้อมูลสำคัญ
- Flood เป็นกรอบการอนุมานโมเดลภาษาขนาดใหญ่ประสิทธิภาพสูงสำหรับการใช้งานแบบออฟไลน์…
- 4 เท่าของ vLLM เคอร์เนลเฉพาะ SegmentAttention มีความเร็วในการถอดรหัสสูงกว่าสูงสุด 3.
- 16 เท่าเมื่อเทียบกับ FlashAttention ในการประมวลผลลำดับยาว โครงการนี้เปิดโอเพนซอร์สในเดือนมีนาคม…
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- 蚂蚁 inclusionAI:GitHub 新仓库
- หมวดหมู่
- ผลิตภัณฑ์และแอป
- คะแนน AI
- 61
蚂蚁的 FLOOD 框架用流水线并行替代张量并行来压通信开销,实测吞吐比 vLLM 高 1.4 到 2.4 倍,做离线推理部署的团队值得花半小时跑一下 benchmark 看看自家场景能不能吃这个红利。
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: Flood กรอบการอนุมานแบบออฟไลน์ประสิทธิภาพสูง ปริมาณงานนำหน้าอย่างชัดเจน รองรับมัลติโมดัลและการควอนไทซ์ 30 มกราคม 2026 https://new.nat6.net/th/news/cmorb7ik3006sslhfoasz9t4c/