Quan điểm & bình luận

Chu Tuấn của Ant Group: cách cải tạo tuyến tính hỗn hợp nâng cao mật độ Token của mô hình nghìn tỷ tham số

Tiêu đề gốc:演讲实录 | 从 Token 数量到 Token 密度:万亿参数规模下的高效智能体智能

Tóm tắt AI

Phó chủ tịch Ant Group Chu Tuấn đề xuất rằng chi phí tính toán mỗi 15 phút vận hành của mô hình nghìn tỷ tham số tương đương một chiếc Tesla, hiệu quả là vấn đề phải giải quyết đầu tiên trong kỷ nguyên tác nhân AI. Nhóm đã thông qua cải tạo tuyến tính hỗn hợp 7 phần Lightning Attention kết hợp 1 phần MLA, đưa chi phí ngữ cảnh dài 256K từ cấp số mũ xuống cấp tuyến tính, kết hợp thuật toán Kpop và huấn luyện trong môi trường thực, giúp lượng Token đầu ra giảm khoảng 4 lần, mô hình trăm tỷ tham số vượt một số mô hình quy mô lớn hơn trên tác vụ Agent thực tế.

Thông tin chính

  • Phó chủ tịch Ant Group Chu Tuấn đề xuất rằng chi phí tính toán mỗi 15 phút vận hành của mô hình…
  • Nhóm đã thông qua cải tạo tuyến tính hỗn hợp 7 phần Lightning Attention kết hợp 1 phần MLA,đưa chi…
  • giúp lượng Token đầu ra giảm khoảng 4 lần,mô hình trăm tỷ tham số vượt một số mô hình quy mô lớn…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
公众号:蚂蚁百灵(Ling)
Danh mục
Quan điểm & bình luận
Điểm AI
60
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

7:1 的混合注意力配比、将真实错误纳入训练以及区分工具调用与自然语言的奖励函数,为同时追求长上下文效率和智能体可靠性的工作提供了可参照的技术路线。

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Chu Tuấn của Ant Group: cách cải tạo tuyến tính hỗn hợp nâng cao mật độ Token của mô hình nghìn tỷ tham số. 8 tháng 7 2026. https://new.nat6.net/vi/news/cmsdu2qga010drofz1h40txvh/

Xem tất cả →