ModelBest ने बताया कि कैसे LES लुकअहेड एक्सपर्ट शेड्यूलिंग मोबाइल डिवाइस पर 35B MoE को रीयल-टाइम लॉसलेस चलाता है
मूल शीर्षक:面壁智能前瞻专家调度(LES):让 35B MoE 在手机上实时无损运行的推理技术
AI सारांश
ModelBest की MiniCPM-V टीम ने MiniCPM-V 4.7 के ऑन-डिवाइस निष्पादन को सक्षम करने वाली लुकअहेड एक्सपर्ट शेड्यूलिंग (LES) तकनीक पेश की। उन्होंने दावा किया कि पहली बार ऑन-डिवाइस 35B-A3B स्केल MoE को रीयल-टाइम और बिना किसी नुकसान के चलाया गया है, जिसमें iPhone 18 Pro Max पर डिकोडिंग स्पीड 20 token/s से अधिक मापी गई।
मुख्य जानकारी
- ModelBest की MiniCPM-V टीम ने MiniCPM-V 4.
- 7 के ऑन-डिवाइस निष्पादन को सक्षम करने वाली लुकअहेड एक्सपर्ट शेड्यूलिंग (LES) तकनीक पेश की।…
- जिसमें iPhone 18 Pro Max पर डिकोडिंग स्पीड 20 token/s से अधिक मापी गई।
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- 公众号:面壁智能(MiniCPM)
- श्रेणी
- ट्यूटोरियल और टिप्स
- AI स्कोर
- 68
原文拆解了 LES 在调度、存储、计算三层的具体设计,并给出消融数据,方法可迁移到其他 MoE 模型的端侧部署。
संबंधित विषय
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: ModelBest ने बताया कि कैसे LES लुकअहेड एक्सपर्ट शेड्यूलिंग मोबाइल डिवाइस पर 35B MoE को रीयल-टाइम लॉसलेस चलाता है। 20 अक्टूबर 2026। https://new.nat6.net/hi/news/m2ylwtzb8x49c32spfl1wplqz/