튜토리얼 및 팁

Cohere, North Mini Code의 megakernel 추론 엔진 공개…단일 H100에서 vLLM보다 1.25~1.41배 빨라

원제목:Inside the megakernel serving engine for North Mini Code

AI 요약

Cohere는 North Mini Code를 위해 decode megakernel 중심으로 구축한 추론 엔진을 공개했다. BF16 기준 단일 H100에서 엔드투엔드 디코딩 처리량이 vLLM보다 1.25~1.41배 빠르고, batch size 1에서 292 tok/s(SoL의 62%)를 기록했으며 코드는 GitHub에 공개됐다.

핵심 정보

  • Cohere는 North Mini Code를 위해 decode megakernel 중심으로 구축한 추론 엔진을 공개했다.
  • BF16 기준 단일 H100에서 엔드투엔드 디코딩 처리량이 vLLM보다 1.
  • 41배 빠르고,batch size 1에서 292 tok/s(SoL의 62%)를 기록했으며 코드는 GitHub에 공개됐다.

한눈에 보기

게시
업데이트
출처
Cohere Labs:官方研究博客
카테고리
튜토리얼 및 팁
AI 점수
68
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

原文给出手写 decode megakernel 的完整实现细节与真实吞吐数据,读者可以了解如何把现有内核组装成单个持久内核并接入真实服务。

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: Cohere, North Mini Code의 megakernel 추론 엔진 공개…단일 H100에서 vLLM보다 1.25~1.41배 빨라. 2026년 9월 8일. https://new.nat6.net/ko/news/gpw1qeypdu4lyt3u0ijp5m2s5/

전체 보기 →