Туториалы и советы

Cohere подробно описала megakernel-движок инференса North Mini Code: в 1,25–1,41 раза быстрее vLLM на одном H100

Оригинальный заголовок:Inside the megakernel serving engine for North Mini Code

ИИ-резюме

Cohere выпустила движок инференса для North Mini Code на основе decode megakernel: сквозная пропускная способность декодирования на одном H100 в BF16 в 1,25–1,41 раза выше, чем у vLLM, при batch size 1 достигает 292 tok/s (62% SoL). Код открыт на GitHub.

Ключевые моменты

  • Cohere выпустила движок инференса для North Mini Code на основе decode megakernel: сквозная…
  • 41 раза выше,чем у vLLM,при batch size 1 достигает 292 tok/s (62% SoL).
  • Код открыт на GitHub.

Кратко

Опубликовано
Обновлено
Источник
Cohere Labs:官方研究博客
Категория
Туториалы и советы
Оценка ИИ
68
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

原文给出手写 decode megakernel 的完整实现细节与真实吞吐数据,读者可以了解如何把现有内核组装成单个持久内核并接入真实服务。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Cohere подробно описала megakernel-движок инференса North Mini Code: в 1,25–1,41 раза быстрее vLLM на одном H100. 8 сентября 2026. https://new.nat6.net/ru/news/gpw1qeypdu4lyt3u0ijp5m2s5/

Смотреть все →