Tutoriels et astuces

Cohere détaille le moteur d'inférence megakernel de North Mini Code, 1,25 à 1,41 fois plus rapide que vLLM sur un seul H100

Titre original:Inside the megakernel serving engine for North Mini Code

Résumé IA

Cohere publie un moteur d'inférence construit pour North Mini Code autour d'un megakernel de décodage : en BF16, le débit de décodage de bout en bout sur un seul H100 est 1,25 à 1,41 fois supérieur à celui de vLLM, atteignant 292 tok/s avec un batch size de 1 (62 % du SoL). Le code est disponible sur GitHub.

Points clés

  • Cohere publie un moteur d'inférence construit pour North Mini Code autour d'un megakernel de…
  • 41 fois supérieur à celui de vLLM,atteignant 292 tok/s avec un batch size de 1 (62 % du SoL).
  • Le code est disponible sur GitHub.

En bref

Publié
Mis à jour
Source
Cohere Labs:官方研究博客
Catégorie
Tutoriels et astuces
Score IA
68
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

原文给出手写 decode megakernel 的完整实现细节与真实吞吐数据,读者可以了解如何把现有内核组装成单个持久内核并接入真实服务。

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Cohere détaille le moteur d'inférence megakernel de North Mini Code, 1,25 à 1,41 fois plus rapide que vLLM sur un seul H100. 8. septembre 2026. https://new.nat6.net/fr/news/gpw1qeypdu4lyt3u0ijp5m2s5/

Tout voir →