Khác

NSA: cơ chế chú ý thưa thớt căn chỉnh phần cứng mới

Tiêu đề gốc:🚀 Introducing NSA: A Hardware-Aligned and Natively Trainable Sparse Attention mechanism for ultra-f...

Tóm tắt AI

NSA là cơ chế chú ý thưa thớt căn chỉnh phần cứng và có thể huấn luyện nguyên bản, được thiết kế cho huấn luyện và suy luận ngữ cảnh dài siêu nhanh. Cốt lõi của nó sử dụng chiến lược thưa thớt phân tầng động, kết hợp nén token thô và chọn token tinh. Thông qua tối ưu hóa cho phần cứng hiện đại, NSA tăng tốc suy luận, giảm chi phí tiền huấn luyện mà không mất hiệu năng, đạt hoặc vượt mô hình Full Attention trên các benchmark phổ quát, nhiệm vụ ngữ cảnh dài và suy luận chỉ lệnh.

Thông tin chính

  • NSA là cơ chế chú ý thưa thớt căn chỉnh phần cứng và có thể huấn luyện nguyên bản,được thiết kế…
  • Cốt lõi của nó sử dụng chiến lược thưa thớt phân tầng động,kết hợp nén token thô và chọn token tinh.
  • Thông qua tối ưu hóa cho phần cứng hiện đại,NSA tăng tốc suy luận,giảm chi phí tiền huấn luyện mà…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
X:DeepSeek (@deepseek_ai)
Danh mục
Khác
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

DeepSeek 推出硬件对齐稀疏注意力 NSA,长上下文训练推理双提速,预训练成本显著降低

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: NSA: cơ chế chú ý thưa thớt căn chỉnh phần cứng mới. 18 tháng 2 2025. https://new.nat6.net/vi/news/cmo77611u003hslhea6kr5k19/

Xem tất cả →