Cohere detalla el motor de inferencia megakernel de North Mini Code, entre 1,25 y 1,41 veces más rápido que vLLM en una sola H100
Título original:Inside the megakernel serving engine for North Mini Code
Resumen de IA
Cohere publicó un motor de inferencia construido en torno a un megakernel de decodificación para North Mini Code; en BF16, el rendimiento de decodificación de extremo a extremo en una sola H100 es entre 1,25 y 1,41 veces más rápido que vLLM, alcanzando 292 tok/s con batch size 1 (62% de SoL). El código está disponible en GitHub.
Puntos clave
- Cohere publicó un motor de inferencia construido en torno a un megakernel de decodificación para…
- en BF16,el rendimiento de decodificación de extremo a extremo en una sola H100 es entre 1,25 y…
- El código está disponible en GitHub.
Resumen rápido
- Publicado
- Actualizado
- Fuente
- Cohere Labs:官方研究博客
- Categoría
- Tutoriales y consejos
- Puntuación IA
- 68
原文给出手写 decode megakernel 的完整实现细节与真实吞吐数据,读者可以了解如何把现有内核组装成单个持久内核并接入真实服务。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Cohere detalla el motor de inferencia megakernel de North Mini Code, entre 1,25 y 1,41 veces más rápido que vLLM en una sola H100. 8. septiembre 2026. https://new.nat6.net/es/news/gpw1qeypdu4lyt3u0ijp5m2s5/