Cohere merinci mesin inferensi megakernel North Mini Code, 1,25–1,41 kali lebih cepat dari vLLM pada satu H100
Judul asli:Inside the megakernel serving engine for North Mini Code
Ringkasan AI
Cohere merilis mesin inferensi yang dibangun untuk North Mini Code dengan decode megakernel, mencapai throughput decoding end-to-end 1,25–1,41 kali lebih cepat daripada vLLM pada satu H100 dengan BF16, mencapai 292 tok/s pada batch size 1 (62% dari SoL), dan kodenya telah dibuka di GitHub.
Poin utama
- Cohere merilis mesin inferensi yang dibangun untuk North Mini Code dengan decode…
- 41 kali lebih cepat daripada vLLM pada satu H100 dengan BF16
- mencapai 292 tok/s pada batch size 1 (62% dari SoL),dan kodenya telah dibuka di GitHub.
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- Cohere Labs:官方研究博客
- Kategori
- Tutorial & Tips
- Skor AI
- 68
原文给出手写 decode megakernel 的完整实现细节与真实吞吐数据,读者可以了解如何把现有内核组装成单个持久内核并接入真实服务。
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Cohere merinci mesin inferensi megakernel North Mini Code, 1,25–1,41 kali lebih cepat dari vLLM pada satu H100. 8 September 2026. https://new.nat6.net/id/news/gpw1qeypdu4lyt3u0ijp5m2s5/