Zhou Jun dari Ant Group: cara meningkatkan ketumpatan Token model trilion parameter melalui pengubahsuaian linear hibrid
Tajuk asal:演讲实录 | 从 Token 数量到 Token 密度:万亿参数规模下的高效智能体智能
Ringkasan AI
Naib Presiden Ant Group Zhou Jun mencadangkan bahawa kos pengiraan model trilion parameter setiap 15 minit operasi adalah kira-kira setara dengan sebuah Tesla, kecekapan ialah masalah yang mesti diselesaikan terlebih dahulu dalam era ejen. Pasukan beliau melalui pengubahsuaian linear hibrid 7 bahagian Lightning Attention digabungkan dengan 1 bahagian MLA, mengurangkan kos konteks panjang 256K daripada eksponen kepada linear, bersama algoritma Kpop dan latihan persekitaran sebenar, mengurangkan output Token kira-kira 4 kali ganda, model ratusan bilion parameter melebihi sebahagian model berskala lebih besar dalam tugasan Ejen sebenar.
Maklumat penting
- Naib Presiden Ant Group Zhou Jun mencadangkan bahawa kos pengiraan model trilion parameter setiap…
- Pasukan beliau melalui pengubahsuaian linear hibrid 7 bahagian Lightning Attention digabungkan…
- mengurangkan output Token kira-kira 4 kali ganda,model ratusan bilion parameter melebihi…
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- 公众号:蚂蚁百灵(Ling)
- Kategori
- Pandangan dan ulasan
- Skor AI
- 60
7:1 的混合注意力配比、将真实错误纳入训练以及区分工具调用与自然语言的奖励函数,为同时追求长上下文效率和智能体可靠性的工作提供了可参照的技术路线。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Zhou Jun dari Ant Group: cara meningkatkan ketumpatan Token model trilion parameter melalui pengubahsuaian linear hibrid. 8 Julai 2026. https://new.nat6.net/ms/news/cmsdu2qga010drofz1h40txvh/