Pidato Zhou Jun dari Ant Group di AICon: Dari Jumlah Token ke Kepadatan Token, Model Triliunan Parameter Mengutamakan Efisiensi
Judul asli:演讲实录 | 从 Token 数量到 Token 密度:万亿参数规模下的高效智能体智能
Ringkasan AI
Wakil Presiden Ant Group Zhou Jun dalam pidatonya di AICon menyatakan bahwa biaya komputasi model triliunan parameter setiap 15 menit beroperasi setara dengan satu Tesla, dan efisiensi adalah masalah paling mendesak di era agen. Timnya mengusulkan pergeseran strategi dari "lebih banyak token" ke "kepadatan token lebih tinggi", menggunakan arsitektur perhatian linear hibrida dengan 7 bagian Lightning Attention dan 1 bagian MLA, sehingga biaya konteks panjang 256K turun dari eksponensial menjadi linear dan komputasi lebih banyak digunakan untuk berpikir. Melalui algoritma Kpop untuk membedakan pemanggilan alat dari token bahasa alami, dikombinasikan dengan pemangkasan rantai pemikiran dan self-distillation, keluaran token berkurang sekitar 4 kali tanpa penurunan kemampuan. Peningkatan signifikan tercatat pada tolok ukur LongBench dan BFCL, dengan model ratusan miliar parameter melampaui sebagian model yang lebih besar pada tugas Agent; model kecil mencapai throughput flash 2,4 kali dan biaya percakapan lima putaran turun lebih dari 10 kali.
Poin utama
- Wakil Presiden Ant Group Zhou Jun dalam pidatonya di AICon menyatakan bahwa biaya komputasi model…
- Timnya mengusulkan pergeseran strategi dari "lebih banyak token" ke "kepadatan token lebih…
- Melalui algoritma Kpop untuk membedakan pemanggilan alat dari token bahasa alami,dikombinasikan…
- Peningkatan signifikan tercatat pada tolok ukur LongBench dan BFCL,dengan model ratusan miliar…
- model kecil mencapai throughput flash 2,4 kali dan biaya percakapan lima putaran turun lebih dari…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- 公众号:蚂蚁百灵(Ling)
- Kategori
- Opini & Komentar
- Skor AI
- 64
蚂蚁百灵副总裁周俊这次分享,把大模型效率问题从零散优化推到了架构、训练、智能体协同设计的范式层面,7+1 混合注意力方案和 Kpop 算法对做模型的人是实质参考。
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Pidato Zhou Jun dari Ant Group di AICon: Dari Jumlah Token ke Kepadatan Token, Model Triliunan Parameter Mengutamakan Efisiensi. 8 Juli 2026. https://new.nat6.net/id/news/cmrbdsefa02yjihl17gg7mhx3/