Cohere อธิบายเอนจินอนุมาน megakernel ของ North Mini Code เร็วกว่า vLLM 1.25–1.41 เท่าบน H100 เดียว
หัวข้อต้นฉบับ:Inside the megakernel serving engine for North Mini Code
สรุปโดย AI
Cohere เปิดตัวเอนจินอนุมานที่สร้างขึ้นสำหรับ North Mini Code โดยรอบ decode megakernel ใน BF16 บน H100 เดียวมีทรูพุตการถอดรหัสแบบ end-to-end เร็วกว่า vLLM 1.25–1.41 เท่า ที่ batch size 1 ทำได้ 292 tok/s (62% ของ SoL) โค้ดเปิดให้ใช้บน GitHub แล้ว
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- Cohere Labs:官方研究博客
- หมวดหมู่
- บทแนะนำและเทคนิค
- คะแนน AI
- 68
原文给出手写 decode megakernel 的完整实现细节与真实吞吐数据,读者可以了解如何把现有内核组装成单个持久内核并接入真实服务。
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: Cohere อธิบายเอนจินอนุมาน megakernel ของ North Mini Code เร็วกว่า vLLM 1.25–1.41 เท่าบน H100 เดียว 8 กันยายน 2026 https://new.nat6.net/th/news/gpw1qeypdu4lyt3u0ijp5m2s5/