Cohere détaille le moteur d'inférence megakernel de North Mini Code, 1,25 à 1,41 fois plus rapide que vLLM sur un seul H100
Titre original:Inside the megakernel serving engine for North Mini Code
Résumé IA
Cohere publie un moteur d'inférence construit pour North Mini Code autour d'un megakernel de décodage : en BF16, le débit de décodage de bout en bout sur un seul H100 est 1,25 à 1,41 fois supérieur à celui de vLLM, atteignant 292 tok/s avec un batch size de 1 (62 % du SoL). Le code est disponible sur GitHub.
Points clés
- Cohere publie un moteur d'inférence construit pour North Mini Code autour d'un megakernel de…
- 41 fois supérieur à celui de vLLM,atteignant 292 tok/s avec un batch size de 1 (62 % du SoL).
- Le code est disponible sur GitHub.
En bref
- Publié
- Mis à jour
- Source
- Cohere Labs:官方研究博客
- Catégorie
- Tutoriels et astuces
- Score IA
- 68
原文给出手写 decode megakernel 的完整实现细节与真实吞吐数据,读者可以了解如何把现有内核组装成单个持久内核并接入真实服务。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Cohere détaille le moteur d'inférence megakernel de North Mini Code, 1,25 à 1,41 fois plus rapide que vLLM sur un seul H100. 8. septembre 2026. https://new.nat6.net/fr/news/gpw1qeypdu4lyt3u0ijp5m2s5/