Quan điểm & bình luận

Bài phát biểu của Chu Tuấn Ant Group tại AICon: từ số lượng Token đến mật độ Token, mô hình nghìn tỷ tham số ưu tiên hiệu quả

Tiêu đề gốc:演讲实录 | 从 Token 数量到 Token 密度:万亿参数规模下的高效智能体智能

Tóm tắt AI

Phó chủ tịch Ant Group Chu Tuấn tại AICon chỉ ra, mô hình nghìn tỷ tham số mỗi 15 phút vận hành chi phí tính toán tương đương một chiếc Tesla, hiệu quả là vấn đề cần giải quyết nhất trong thời đại tác nhân. Nhóm đề xuất chuyển từ "nhiều Token hơn" sang "mật độ Token cao hơn", áp dụng kiến trúc chú ý tuyến tính hỗn hợp 7 phần Lightning Attention cộng 1 phần MLA, khiến chi phí ngữ cảnh dài 256K giảm từ cấp số mũ xuống cấp tuyến tính, tính toán dùng nhiều hơn cho suy nghĩ. Thông qua thuật toán Kpop phân biệt gọi công cụ với Token ngôn ngữ tự nhiên, kết hợp cắt tỉa chuỗi suy nghĩ, tự chưng cất, Token đầu ra giảm khoảng 4 lần mà năng lực không giảm. Trên các benchmark LongBench, BFCL cải thiện đáng kể, mô hình trăm tỷ tham số vượt một số mô hình lớn hơn trong tác vụ Agent; mô hình nhỏ flash thông lượng đạt 2,4 lần, chi phí hội thoại năm vòng giảm hơn 10 lần.

Thông tin chính

  • Phó chủ tịch Ant Group Chu Tuấn tại AICon chỉ ra,mô hình nghìn tỷ tham số mỗi 15 phút vận hành chi…
  • Nhóm đề xuất chuyển từ "nhiều Token hơn" sang "mật độ Token cao hơn",áp dụng kiến trúc chú ý tuyến…
  • Thông qua thuật toán Kpop phân biệt gọi công cụ với Token ngôn ngữ tự nhiên,kết hợp cắt tỉa chuỗi…
  • Trên các benchmark LongBench,BFCL cải thiện đáng kể,mô hình trăm tỷ tham số vượt một số mô hình…
  • mô hình nhỏ flash thông lượng đạt 2,4 lần,chi phí hội thoại năm vòng giảm hơn 10 lần.

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
公众号:蚂蚁百灵(Ling)
Danh mục
Quan điểm & bình luận
Điểm AI
64
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

蚂蚁百灵副总裁周俊这次分享,把大模型效率问题从零散优化推到了架构、训练、智能体协同设计的范式层面,7+1 混合注意力方案和 Kpop 算法对做模型的人是实质参考。

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Bài phát biểu của Chu Tuấn Ant Group tại AICon: từ số lượng Token đến mật độ Token, mô hình nghìn tỷ tham số ưu tiên hiệu quả. 8 tháng 7 2026. https://new.nat6.net/vi/news/cmrbdsefa02yjihl17gg7mhx3/

Xem tất cả →