Cohere erläutert Megakernel-Inferenzengine von North Mini Code: 1,25–1,41-mal schneller als vLLM auf einer H100
Originaltitel:Inside the megakernel serving engine for North Mini Code
KI-Zusammenfassung
Cohere hat eine für North Mini Code entwickelte Inferenzengine rund um einen Decode-Megakernel veröffentlicht. In BF16 erreicht der End-to-End-Decode-Durchsatz auf einer einzelnen H100 das 1,25- bis 1,41-Fache von vLLM und bei Batch Size 1 292 tok/s (62 % von SoL). Der Code ist auf GitHub verfügbar.
Kernpunkte
- Cohere hat eine für North Mini Code entwickelte Inferenzengine rund um einen Decode-Megakernel…
- In BF16 erreicht der End-to-End-Decode-Durchsatz auf einer einzelnen H100 das 1,25- bis 1,41-Fache…
- Der Code ist auf GitHub verfügbar.
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- Cohere Labs:官方研究博客
- Kategorie
- Tutorials & Tipps
- KI-Bewertung
- 68
原文给出手写 decode megakernel 的完整实现细节与真实吞吐数据,读者可以了解如何把现有内核组装成单个持久内核并接入真实服务。
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Cohere erläutert Megakernel-Inferenzengine von North Mini Code: 1,25–1,41-mal schneller als vLLM auf einer H100. 8. September 2026. https://new.nat6.net/de/news/gpw1qeypdu4lyt3u0ijp5m2s5/