Zhou Jun ng Ant Group: paano mapapabuti ang Token density ng trillion-parameter model gamit ang hybrid linear transformation
Orihinal na pamagat:演讲实录 | 从 Token 数量到 Token 密度:万亿参数规模下的高效智能体智能
AI summary
Iminungkahi ni Zhou Jun, vice president ng Ant Group, na ang trillion-parameter model ay gumagastos ng compute cost na katumbas ng isang Tesla bawat 15 minutong pagtakbo, at ang efficiency ang pinakaunang problemang dapat lutasin sa panahon ng agent. Sa pamamagitan ng hybrid linear transformation na 7 Lightning Attention at 1 MLA, binaba ng team ang 256K long context cost mula exponential patungong linear, kasama ang Kpop algorithm at real environment training, nabawasan ang Token output ng humigit-kumulang 4 na beses, at nalampasan ng 100-billion-parameter model ang ilang mas malaking modelo sa tunay na Agent tasks.
Mahahalagang impormasyon
- Iminungkahi ni Zhou Jun,vice president ng Ant Group,na ang trillion-parameter model ay gumagastos…
- Sa pamamagitan ng hybrid linear transformation na 7 Lightning Attention at 1 MLA,binaba ng team…
- nabawasan ang Token output ng humigit-kumulang 4 na beses,at nalampasan ng 100-billion-parameter…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- 公众号:蚂蚁百灵(Ling)
- Kategorya
- Mga Opinyon at Komentaryo
- AI na marka
- 60
7:1 的混合注意力配比、将真实错误纳入训练以及区分工具调用与自然语言的奖励函数,为同时追求长上下文效率和智能体可靠性的工作提供了可参照的技术路线。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Zhou Jun ng Ant Group: paano mapapabuti ang Token density ng trillion-parameter model gamit ang hybrid linear transformation. 8 Hulyo 2026. https://new.nat6.net/fil/news/cmsdu2qga010drofz1h40txvh/