Ant Group के Zhou Jun: ट्रिलियन-पैरामीटर मॉडल में टोकन घनत्व बढ़ाने के लिए हाइब्रिड लीनियर रूपांतरण का उपयोग
मूल शीर्षक:演讲实录 | 从 Token 数量到 Token 密度:万亿参数规模下的高效智能体智能
AI सारांश
Ant Group के उपाध्यक्ष Zhou Jun ने बताया कि एक ट्रिलियन-पैरामीटर मॉडल के 15 मिनट के संचालन की कंप्यूटिंग लागत एक Tesla कार के बराबर है, जो एआई एजेंट युग में दक्षता को प्राथमिकता देता है। टीम ने 7-भाग Lightning Attention और 1-भाग MLA का उपयोग करके 256K लंबे संदर्भ की लागत को घातीय से रैखिक में बदला है। Kpop एल्गोरिदम और वास्तविक वातावरण प्रशिक्षण के साथ, टोकन आउटपुट को लगभग 4 गुना कम किया गया है, जिससे 100 बिलियन पैरामीटर मॉडल वास्तविक एजेंट कार्यों में कई बड़े मॉडलों से बेहतर प्रदर्शन कर रहे हैं।
मुख्य जानकारी
- Ant Group के उपाध्यक्ष Zhou Jun ने बताया कि एक ट्रिलियन-पैरामीटर मॉडल के 15 मिनट के संचालन की…
- जो एआई एजेंट युग में दक्षता को प्राथमिकता देता है। टीम ने 7-भाग Lightning Attention और 1-भाग MLA…
- टोकन आउटपुट को लगभग 4 गुना कम किया गया है,जिससे 100 बिलियन पैरामीटर मॉडल वास्तविक एजेंट कार्यों…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- 公众号:蚂蚁百灵(Ling)
- श्रेणी
- विचार और समीक्षा
- AI स्कोर
- 60
7:1 的混合注意力配比、将真实错误纳入训练以及区分工具调用与自然语言的奖励函数,为同时追求长上下文效率和智能体可靠性的工作提供了可参照的技术路线。
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: Ant Group के Zhou Jun: ट्रिलियन-पैरामीटर मॉडल में टोकन घनत्व बढ़ाने के लिए हाइब्रिड लीनियर रूपांतरण का उपयोग। 8 जुलाई 2026। https://new.nat6.net/hi/news/cmsdu2qga010drofz1h40txvh/