Opini & Komentar

Zhou Jun dari Ant Group: bagaimana meningkatkan kepadatan Token model berparameter triliunan dengan transformasi linear hibrida

Judul asli:演讲实录 | 从 Token 数量到 Token 密度:万亿参数规模下的高效智能体智能

Ringkasan AI

Wakil Presiden Ant Group Zhou Jun mengemukakan bahwa biaya komputasi model berparameter triliunan setiap 15 menit operasi setara dengan satu Tesla, sehingga efisiensi adalah masalah pertama yang harus diselesaikan di era agen. Timnya melalui transformasi linear hibrida dengan 7 bagian Lightning Attention dipadukan dengan 1 bagian MLA, menurunkan biaya konteks panjang 256K dari eksponensial menjadi linear, dan dengan algoritma Kpop serta pelatihan di lingkungan nyata, mengurangi output Token sekitar 4 kali lipat, sehingga model berparameter ratusan miliar melampaui sebagian model berskala lebih besar pada tugas Agent nyata.

Poin utama

  • Wakil Presiden Ant Group Zhou Jun mengemukakan bahwa biaya komputasi model berparameter triliunan…
  • Timnya melalui transformasi linear hibrida dengan 7 bagian Lightning Attention dipadukan dengan 1…
  • mengurangi output Token sekitar 4 kali lipat,sehingga model berparameter ratusan miliar melampaui…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
公众号:蚂蚁百灵(Ling)
Kategori
Opini & Komentar
Skor AI
60
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

7:1 的混合注意力配比、将真实错误纳入训练以及区分工具调用与自然语言的奖励函数,为同时追求长上下文效率和智能体可靠性的工作提供了可参照的技术路线。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Zhou Jun dari Ant Group: bagaimana meningkatkan kepadatan Token model berparameter triliunan dengan transformasi linear hibrida. 8 Juli 2026. https://new.nat6.net/id/news/cmsdu2qga010drofz1h40txvh/

Lihat semua →