Chu Tuấn của Ant Group: cách cải tạo tuyến tính hỗn hợp nâng cao mật độ Token của mô hình nghìn tỷ tham số
Tiêu đề gốc:演讲实录 | 从 Token 数量到 Token 密度:万亿参数规模下的高效智能体智能
Tóm tắt AI
Phó chủ tịch Ant Group Chu Tuấn đề xuất rằng chi phí tính toán mỗi 15 phút vận hành của mô hình nghìn tỷ tham số tương đương một chiếc Tesla, hiệu quả là vấn đề phải giải quyết đầu tiên trong kỷ nguyên tác nhân AI. Nhóm đã thông qua cải tạo tuyến tính hỗn hợp 7 phần Lightning Attention kết hợp 1 phần MLA, đưa chi phí ngữ cảnh dài 256K từ cấp số mũ xuống cấp tuyến tính, kết hợp thuật toán Kpop và huấn luyện trong môi trường thực, giúp lượng Token đầu ra giảm khoảng 4 lần, mô hình trăm tỷ tham số vượt một số mô hình quy mô lớn hơn trên tác vụ Agent thực tế.
Thông tin chính
- Phó chủ tịch Ant Group Chu Tuấn đề xuất rằng chi phí tính toán mỗi 15 phút vận hành của mô hình…
- Nhóm đã thông qua cải tạo tuyến tính hỗn hợp 7 phần Lightning Attention kết hợp 1 phần MLA,đưa chi…
- giúp lượng Token đầu ra giảm khoảng 4 lần,mô hình trăm tỷ tham số vượt một số mô hình quy mô lớn…
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- 公众号:蚂蚁百灵(Ling)
- Danh mục
- Quan điểm & bình luận
- Điểm AI
- 60
7:1 的混合注意力配比、将真实错误纳入训练以及区分工具调用与自然语言的奖励函数,为同时追求长上下文效率和智能体可靠性的工作提供了可参照的技术路线。
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: Chu Tuấn của Ant Group: cách cải tạo tuyến tính hỗn hợp nâng cao mật độ Token của mô hình nghìn tỷ tham số. 8 tháng 7 2026. https://new.nat6.net/vi/news/cmsdu2qga010drofz1h40txvh/