Tutoriales y consejos

Cohere detalla el motor de inferencia megakernel de North Mini Code, entre 1,25 y 1,41 veces más rápido que vLLM en una sola H100

Título original:Inside the megakernel serving engine for North Mini Code

Resumen de IA

Cohere publicó un motor de inferencia construido en torno a un megakernel de decodificación para North Mini Code; en BF16, el rendimiento de decodificación de extremo a extremo en una sola H100 es entre 1,25 y 1,41 veces más rápido que vLLM, alcanzando 292 tok/s con batch size 1 (62% de SoL). El código está disponible en GitHub.

Puntos clave

  • Cohere publicó un motor de inferencia construido en torno a un megakernel de decodificación para…
  • en BF16,el rendimiento de decodificación de extremo a extremo en una sola H100 es entre 1,25 y…
  • El código está disponible en GitHub.

Resumen rápido

Publicado
Actualizado
Fuente
Cohere Labs:官方研究博客
Categoría
Tutoriales y consejos
Puntuación IA
68
Leer el original Leer el artículo completo en la fuente original
Por qué importa

原文给出手写 decode megakernel 的完整实现细节与真实吞吐数据,读者可以了解如何把现有内核组装成单个持久内核并接入真实服务。

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Cohere detalla el motor de inferencia megakernel de North Mini Code, entre 1,25 y 1,41 veces más rápido que vLLM en una sola H100. 8. septiembre 2026. https://new.nat6.net/es/news/gpw1qeypdu4lyt3u0ijp5m2s5/

Ver todo →