Cohere giới thiệu chi tiết engine suy luận megakernel của North Mini Code, nhanh hơn vLLM 1,25–1,41 lần trên một H100
Tiêu đề gốc:Inside the megakernel serving engine for North Mini Code
Tóm tắt AI
Cohere phát hành engine suy luận xây dựng cho North Mini Code xoay quanh decode megakernel, với BF16 đạt thông lượng giải mã đầu-cuối trên một H100 nhanh hơn vLLM 1,25–1,41 lần, đạt 292 tok/s ở batch size 1 (62% SoL), mã nguồn đã mở trên GitHub.
Thông tin chính
- Cohere phát hành engine suy luận xây dựng cho North Mini Code xoay quanh decode megakernel
- với BF16 đạt thông lượng giải mã đầu-cuối trên một H100 nhanh hơn vLLM 1
- đạt 292 tok/s ở batch size 1 (62% SoL),mã nguồn đã mở trên GitHub.
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- Cohere Labs:官方研究博客
- Danh mục
- Hướng dẫn & mẹo
- Điểm AI
- 68
原文给出手写 decode megakernel 的完整实现细节与真实吞吐数据,读者可以了解如何把现有内核组装成单个持久内核并接入真实服务。
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: Cohere giới thiệu chi tiết engine suy luận megakernel của North Mini Code, nhanh hơn vLLM 1,25–1,41 lần trên một H100. 8 tháng 9 2026. https://new.nat6.net/vi/news/gpw1qeypdu4lyt3u0ijp5m2s5/