Tutorials & Tipps

Cohere erläutert Megakernel-Inferenzengine von North Mini Code: 1,25–1,41-mal schneller als vLLM auf einer H100

Originaltitel:Inside the megakernel serving engine for North Mini Code

KI-Zusammenfassung

Cohere hat eine für North Mini Code entwickelte Inferenzengine rund um einen Decode-Megakernel veröffentlicht. In BF16 erreicht der End-to-End-Decode-Durchsatz auf einer einzelnen H100 das 1,25- bis 1,41-Fache von vLLM und bei Batch Size 1 292 tok/s (62 % von SoL). Der Code ist auf GitHub verfügbar.

Kernpunkte

  • Cohere hat eine für North Mini Code entwickelte Inferenzengine rund um einen Decode-Megakernel…
  • In BF16 erreicht der End-to-End-Decode-Durchsatz auf einer einzelnen H100 das 1,25- bis 1,41-Fache…
  • Der Code ist auf GitHub verfügbar.

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
Cohere Labs:官方研究博客
Kategorie
Tutorials & Tipps
KI-Bewertung
68
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

原文给出手写 decode megakernel 的完整实现细节与真实吞吐数据,读者可以了解如何把现有内核组装成单个持久内核并接入真实服务。

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Cohere erläutert Megakernel-Inferenzengine von North Mini Code: 1,25–1,41-mal schneller als vLLM auf einer H100. 8. September 2026. https://new.nat6.net/de/news/gpw1qeypdu4lyt3u0ijp5m2s5/

Alle ansehen →