Tutorial & Tips

Cohere merinci mesin inferensi megakernel North Mini Code, 1,25–1,41 kali lebih cepat dari vLLM pada satu H100

Judul asli:Inside the megakernel serving engine for North Mini Code

Ringkasan AI

Cohere merilis mesin inferensi yang dibangun untuk North Mini Code dengan decode megakernel, mencapai throughput decoding end-to-end 1,25–1,41 kali lebih cepat daripada vLLM pada satu H100 dengan BF16, mencapai 292 tok/s pada batch size 1 (62% dari SoL), dan kodenya telah dibuka di GitHub.

Poin utama

  • Cohere merilis mesin inferensi yang dibangun untuk North Mini Code dengan decode…
  • 41 kali lebih cepat daripada vLLM pada satu H100 dengan BF16
  • mencapai 292 tok/s pada batch size 1 (62% dari SoL),dan kodenya telah dibuka di GitHub.

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Cohere Labs:官方研究博客
Kategori
Tutorial & Tips
Skor AI
68
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

原文给出手写 decode megakernel 的完整实现细节与真实吞吐数据,读者可以了解如何把现有内核组装成单个持久内核并接入真实服务。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Cohere merinci mesin inferensi megakernel North Mini Code, 1,25–1,41 kali lebih cepat dari vLLM pada satu H100. 8 September 2026. https://new.nat6.net/id/news/gpw1qeypdu4lyt3u0ijp5m2s5/

Lihat semua →