विचार और समीक्षा

Ant Group के झोउ जून का AICon भाषण: टोकन संख्या से टोकन घनत्व तक, ट्रिलियन-पैरामीटर मॉडल में दक्षता को प्राथमिकता

मूल शीर्षक:演讲实录 | 从 Token 数量到 Token 密度:万亿参数规模下的高效智能体智能

AI सारांश

Ant Group के उपाध्यक्ष झोउ जून ने AICon भाषण में रेखांकित किया कि एक ट्रिलियन-पैरामीटर मॉडल को 15 मिनट चलाने की कंप्यूट लागत लगभग एक Tesla के बराबर है, और दक्षता एआई एजेंट युग में हल की जाने वाली सबसे महत्वपूर्ण समस्या है। टीम ने 'अधिक टोकन' से 'उच्च टोकन घनत्व' की रणनीति प्रस्तावित की, जिसमें 7 Lightning Attention और 1 MLA का हाइब्रिड लीनियर अटेंशन आर्किटेक्चर अपनाया गया, जिससे 256K लंबे संदर्भ की लागत घातीय से घटकर रैखिक स्तर पर आ गई और अधिक कंप्यूटिंग शक्ति सोचने में लग सकी। Kpop एल्गोरिदम के ज़रिए टूल कॉल और प्राकृतिक भाषा टोकन में अंतर करके, और चेन-ऑफ-थॉट प्रूनिंग व सेल्फ-डिस्टिलेशन के संयोजन से, टोकन आउटपुट क्षमताओं में कमी किए बिना लगभग 4 गुना घट गया। LongBench, BFCL जैसे बेंचमार्क पर उल्लेखनीय सुधार हुआ, और 100 बिलियन-पैरामीटर मॉडल ने Agent कार्यों में कुछ बड़े मॉडलों को पछाड़ दिया; छोटे मॉडल का flash थ्रूपुट 2.4 गुना तक पहुंच गया, और पाँच-राउंड वार्तालाप की लागत 10 गुना से अधिक घट गई।

मुख्य जानकारी

  • Ant Group के उपाध्यक्ष झोउ जून ने AICon भाषण में रेखांकित किया कि एक ट्रिलियन-पैरामीटर मॉडल को 15…
  • छोटे मॉडल का flash थ्रूपुट 2.
  • 4 गुना तक पहुंच गया,और पाँच-राउंड वार्तालाप की लागत 10 गुना से अधिक घट गई।

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
公众号:蚂蚁百灵(Ling)
श्रेणी
विचार और समीक्षा
AI स्कोर
64
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

蚂蚁百灵副总裁周俊这次分享,把大模型效率问题从零散优化推到了架构、训练、智能体协同设计的范式层面,7+1 混合注意力方案和 Kpop 算法对做模型的人是实质参考。

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: Ant Group के झोउ जून का AICon भाषण: टोकन संख्या से टोकन घनत्व तक, ट्रिलियन-पैरामीटर मॉडल में दक्षता को प्राथमिकता। 8 जुलाई 2026। https://new.nat6.net/hi/news/cmrbdsefa02yjihl17gg7mhx3/

सभी देखें →