Ucapan Zhou Jun Ant Group di AICon: daripada bilangan Token kepada kepadatan Token, model trilion parameter mengutamakan kecekapan
Tajuk asal:演讲实录 | 从 Token 数量到 Token 密度:万亿参数规模下的高效智能体智能
Ringkasan AI
Naib Presiden Ant Group Zhou Jun dalam ucapannya di AICon menyatakan kos pengiraan model trilion parameter setiap 15 minit operasi kira-kira bersamaan dengan sebuah Tesla, dan kecekapan ialah masalah paling mendesak dalam era ejen. Pasukan itu mencadangkan peralihan strategi daripada "lebih banyak Token" kepada "kepadatan Token lebih tinggi", menggunakan seni bina perhatian linear hibrid 7 bahagian Lightning Attention ditambah 1 bahagian MLA, menjadikan kos konteks panjang 256K turun daripada eksponen kepada linear, dengan lebih banyak pengiraan digunakan untuk berfikir. Melalui algoritma Kpop untuk membezakan panggilan alat daripada Token bahasa semula jadi, digabungkan dengan pemangkasan rantaian pemikiran dan penyulingan kendiri, output Token berkurang kira-kira 4 kali tanpa penurunan keupayaan. Peningkatan ketara pada penanda aras seperti LongBench dan BFCL, model ratusan bilion parameter mengatasi sesetengah model lebih besar dalam tugas Ejen; model kecil mencapai daya pemprosesan flash 2.4 kali, kos dialog lima pusingan menurun lebih daripada 10 kali.
Maklumat penting
- Naib Presiden Ant Group Zhou Jun dalam ucapannya di AICon menyatakan kos pengiraan model trilion…
- Pasukan itu mencadangkan peralihan strategi daripada "lebih banyak Token" kepada "kepadatan Token…
- Melalui algoritma Kpop untuk membezakan panggilan alat daripada Token bahasa semula…
- Peningkatan ketara pada penanda aras seperti LongBench dan BFCL,model ratusan bilion parameter…
- model kecil mencapai daya pemprosesan flash 2.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- 公众号:蚂蚁百灵(Ling)
- Kategori
- Pandangan dan ulasan
- Skor AI
- 64
蚂蚁百灵副总裁周俊这次分享,把大模型效率问题从零散优化推到了架构、训练、智能体协同设计的范式层面,7+1 混合注意力方案和 Kpop 算法对做模型的人是实质参考。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Ucapan Zhou Jun Ant Group di AICon: daripada bilangan Token kepada kepadatan Token, model trilion parameter mengutamakan kecekapan. 8 Julai 2026. https://new.nat6.net/ms/news/cmrbdsefa02yjihl17gg7mhx3/