inclusionAI เปิดตัวไลบรารีเคอร์เนล GEMM สำหรับการอนุมานแบบควอนไทซ์ประสิทธิภาพสูง Humming
หัวข้อต้นฉบับ:inclusionAI/humming
สรุปโดย AI
inclusionAI เปิดโอเพนซอร์ส Humming ไลบรารีเคอร์เนล GEMM แบบคอมไพล์ทันทีที่มีน้ำหนักเบาและประสิทธิภาพสูง ออกแบบมาเฉพาะสำหรับการอนุมานแบบควอนไทซ์ รองรับการอนุมานน้ำหนักประเภทใดก็ได้ต่ำกว่า 8 บิต ภายใต้ชนิดข้อมูลการเปิดใช้งานที่หลากหลาย เช่น FP16, BF16 และ FP8 เข้ากันได้กับกลยุทธ์การควอนไทซ์และชนิดการสเกลที่หลากหลาย พร้อมรองรับทั้งการคำนวณ GEMM แบบหนาแน่นและ GEMM แบบ Mixture of Experts ไลบรารีนี้เข้ากันได้กับ GPU NVIDIA ทุกรุ่นตั้งแต่ SM75 ขึ้นไป และให้ปริมาณงานและประสิทธิภาพระดับแนวหน้าของอุตสาหกรรมในสถานการณ์การคำนวณที่หลากหลาย มีการพึ่งพาน้อยมาก ต้องการเพียง PyTorch และ NVCC ขนาดแพ็กเกจเพียงประมาณ 100 KB จึงเหมาะสำหรับการติดตั้งใช้งานที่เบาเป็นพิเศษ
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- 蚂蚁 inclusionAI:GitHub 新仓库
- หมวดหมู่
- ผลิตภัณฑ์และแอป
- คะแนน AI
- 61
蚂蚁 inclusionAI 开源了一个 100KB 级的量化 GEMM 库,支持从 INT1 到 FP8 全家桶,SM75+ 全覆盖,做推理部署的工程师值得花半小时跑一下 benchmark,看看能不能替换掉现有的 Marlin 方案。
เอนทิตีที่เกี่ยวข้อง
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: inclusionAI เปิดตัวไลบรารีเคอร์เนล GEMM สำหรับการอนุมานแบบควอนไทซ์ประสิทธิภาพสูง Humming 11 กุมภาพันธ์ 2026 https://new.nat6.net/th/news/cmorb7ik3006oslhfmf6g1irj/