Cohere подробно описала megakernel-движок инференса North Mini Code: в 1,25–1,41 раза быстрее vLLM на одном H100
Оригинальный заголовок:Inside the megakernel serving engine for North Mini Code
ИИ-резюме
Cohere выпустила движок инференса для North Mini Code на основе decode megakernel: сквозная пропускная способность декодирования на одном H100 в BF16 в 1,25–1,41 раза выше, чем у vLLM, при batch size 1 достигает 292 tok/s (62% SoL). Код открыт на GitHub.
Ключевые моменты
- Cohere выпустила движок инференса для North Mini Code на основе decode megakernel: сквозная…
- 41 раза выше,чем у vLLM,при batch size 1 достигает 292 tok/s (62% SoL).
- Код открыт на GitHub.
Кратко
- Опубликовано
- Обновлено
- Источник
- Cohere Labs:官方研究博客
- Категория
- Туториалы и советы
- Оценка ИИ
- 68
原文给出手写 decode megakernel 的完整实现细节与真实吞吐数据,读者可以了解如何把现有内核组装成单个持久内核并接入真实服务。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Cohere подробно описала megakernel-движок инференса North Mini Code: в 1,25–1,41 раза быстрее vLLM на одном H100. 8 сентября 2026. https://new.nat6.net/ru/news/gpw1qeypdu4lyt3u0ijp5m2s5/