教程与技巧

Cohere 详解 North Mini Code 的 megakernel 推理引擎,单 H100 上比 vLLM 快 1.25–1.41 倍

原文标题:Inside the megakernel serving engine for North Mini Code

AI 摘要

Cohere 发布为 North Mini Code 构建的围绕 decode megakernel 的推理引擎,BF16 下单张 H100 端到端解码吞吐比 vLLM 快 1.25–1.41 倍,batch size 1 时达 292 tok/s(SoL 的 62%),代码已在 GitHub 开放。

关键信息

  • Cohere 发布为 North Mini Code 构建的围绕 decode megakernel 的推理引擎,BF16 下单张 H100 端到端解码吞吐比 vLLM 快 1.
  • 41 倍,batch size 1 时达 292 tok/s(SoL 的 62%),代码已在 GitHub 开放
  • 原文给出手写 decode megakernel 的完整实现细节与真实吞吐数据,读者可以了解如何把现有内核组装成单个持久内核并接入真实服务

速览

发布时间
更新时间
来源
Cohere Labs:官方研究博客
分类
教程与技巧
AI 评分
68
阅读原文 前往信息源阅读完整正文
推荐理由

原文给出手写 decode megakernel 的完整实现细节与真实吞吐数据,读者可以了解如何把现有内核组装成单个持久内核并接入真实服务。

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:Cohere 详解 North Mini Code 的 megakernel 推理引擎,单 H100 上比 vLLM 快 1.25–1.41 倍。2026年9月8日。https://new.nat6.net/news/gpw1qeypdu4lyt3u0ijp5m2s5/

查看全部 →