Hướng dẫn & mẹo

Cohere giới thiệu chi tiết engine suy luận megakernel của North Mini Code, nhanh hơn vLLM 1,25–1,41 lần trên một H100

Tiêu đề gốc:Inside the megakernel serving engine for North Mini Code

Tóm tắt AI

Cohere phát hành engine suy luận xây dựng cho North Mini Code xoay quanh decode megakernel, với BF16 đạt thông lượng giải mã đầu-cuối trên một H100 nhanh hơn vLLM 1,25–1,41 lần, đạt 292 tok/s ở batch size 1 (62% SoL), mã nguồn đã mở trên GitHub.

Thông tin chính

  • Cohere phát hành engine suy luận xây dựng cho North Mini Code xoay quanh decode megakernel
  • với BF16 đạt thông lượng giải mã đầu-cuối trên một H100 nhanh hơn vLLM 1
  • đạt 292 tok/s ở batch size 1 (62% SoL),mã nguồn đã mở trên GitHub.

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
Cohere Labs:官方研究博客
Danh mục
Hướng dẫn & mẹo
Điểm AI
68
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

原文给出手写 decode megakernel 的完整实现细节与真实吞吐数据,读者可以了解如何把现有内核组装成单个持久内核并接入真实服务。

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Cohere giới thiệu chi tiết engine suy luận megakernel của North Mini Code, nhanh hơn vLLM 1,25–1,41 lần trên một H100. 8 tháng 9 2026. https://new.nat6.net/vi/news/gpw1qeypdu4lyt3u0ijp5m2s5/

Xem tất cả →