Quan điểm & bình luận

Tự kiểm chứng: tốc độ suy luận khó tin

Tiêu đề gốc:I had to test it myself to believe this unreal inference speed. 3,000 tokens/s for 1 user on standa...

Tóm tắt AI

Nhóm Kog đạt tốc độ suy luận một người dùng cực cao trên GPU trung tâm dữ liệu tiêu chuẩn, đạt 3.000 tokens/s trên 8× AMD MI300X GPUs, 2.100 tokens/s trên 8× NVIDIA H200. So với tốc độ suy luận thông thường (khoảng 100-300 tokens/s), đạt mức tăng 10-30 lần. Ý tưởng cốt lõi là coi giải mã LLM như vấn đề luồng bộ nhớ, thông qua thiết kế đồng thời monokernel, tái thiết cơ chế đồng bộ, ánh xạ truy cập bộ nhớ có mục tiêu và kiến trúc mô hình Laneformer song song tensor trễ, loại bỏ điểm tắc nghẽn của quy trình truyền thống.

Thông tin chính

  • Nhóm Kog đạt tốc độ suy luận một người dùng cực cao trên GPU trung tâm dữ liệu tiêu chuẩn,đạt 3.
  • 000 tokens/s trên 8× AMD MI300X GPUs,2.
  • 100 tokens/s trên 8× NVIDIA H200.
  • So với tốc độ suy luận thông thường (khoảng 100-300 tokens/s),đạt mức tăng 10-30 lần.
  • Ý tưởng cốt lõi là coi giải mã LLM như vấn đề luồng bộ nhớ,thông qua thiết kế đồng thời…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
X:Rohan Paul (@rohanpaul_ai)
Danh mục
Quan điểm & bình luận
Điểm AI
76
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

Rohan亲自测完Kog AI的3000 token/s,把单用户推理速度拉高了10-30倍,这套monokernel设计可能改写低延迟推理的玩法,做实时AI产品的团队必须盯紧。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Tự kiểm chứng: tốc độ suy luận khó tin. 30 tháng 5 2026. https://new.nat6.net/vi/news/cmpr6nk7c0bf4slnok93x9vov/

Xem tất cả →