Mga Opinyon at Komentaryo

Pagsasalita ni Zhou Jun ng Ant Group sa AICon: mula sa bilang ng Token patungo sa Token density, efficiency priority ng trillion-parameter model

Orihinal na pamagat:演讲实录 | 从 Token 数量到 Token 密度:万亿参数规模下的高效智能体智能

AI summary

Itinuro ni Zhou Jun, vice president ng Ant Group, sa kanyang pagsasalita sa AICon na ang compute cost ng trillion-parameter model kada 15 minutong pagtakbo ay katumbas ng isang Tesla, at ang efficiency ang pinakamalaking problemang kailangang lutasin sa panahon ng AI agent. Iminungkahi ng team ang paglipat mula sa "mas maraming Token" patungo sa "mas mataas na Token density", gamit ang hybrid linear attention architecture na 7 bahagi Lightning Attention at 1 bahagi MLA, na nagbaba ng cost ng 256K long context mula exponential patungo sa linear, at mas maraming compute ang napupunta sa pag-iisip. Sa pamamagitan ng Kpop algorithm na nagtatangi sa tool call at natural language Token, kasama ang chain-of-thought pruning at self-distillation, bumaba ang Token output nang humigit-kumulang 4 na beses nang hindi bumababa ang kakayahan. Malaki ang pagbuti sa LongBench, BFCL at iba pang benchmark, at nalampasan ng hundred-billion parameter model ang ilang mas malaking modelo sa Agent task; ang throughput ng maliit na modelong flash ay umabot sa 2.4 na beses, at bumaba ang cost ng limang round ng usapan nang mahigit 10 beses.

Mahahalagang impormasyon

  • Itinuro ni Zhou Jun,vice president ng Ant Group,sa kanyang pagsasalita sa AICon na ang compute…
  • Iminungkahi ng team ang paglipat mula sa "mas maraming Token" patungo sa "mas mataas na Token…
  • Sa pamamagitan ng Kpop algorithm na nagtatangi sa tool call at natural language Token,kasama ang…
  • Malaki ang pagbuti sa LongBench,BFCL at iba pang benchmark,at nalampasan ng hundred-billion…
  • ang throughput ng maliit na modelong flash ay umabot sa 2.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
公众号:蚂蚁百灵(Ling)
Kategorya
Mga Opinyon at Komentaryo
AI na marka
64
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

蚂蚁百灵副总裁周俊这次分享,把大模型效率问题从零散优化推到了架构、训练、智能体协同设计的范式层面,7+1 混合注意力方案和 Kpop 算法对做模型的人是实质参考。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Pagsasalita ni Zhou Jun ng Ant Group sa AICon: mula sa bilang ng Token patungo sa Token density, efficiency priority ng trillion-parameter model. 8 Hulyo 2026. https://new.nat6.net/fil/news/cmrbdsefa02yjihl17gg7mhx3/

Tingnan lahat →