ModelBest erklärt, wie Lookahead Expert Scheduling (LES) ein 35B-MoE-Modell verlustfrei in Echtzeit auf Smartphones bringt
Originaltitel:面壁智能前瞻专家调度(LES):让 35B MoE 在手机上实时无损运行的推理技术
KI-Zusammenfassung
Das MiniCPM-V-Team von ModelBest stellt die Lookahead-Expert-Scheduling-Technik (LES) vor, die den On-Device-Betrieb von MiniCPM-V 4.7 ermöglicht. Erstmals laufe ein MoE-Modell der Größe 35B-A3B verlustfrei und in Echtzeit auf Endgeräten; auf einem iPhone 18 Pro Max wurden über 20 Token/s Dekodierung gemessen.
Kernpunkte
- Das MiniCPM-V-Team von ModelBest stellt die Lookahead-Expert-Scheduling-Technik (LES) vor,die den…
- 7 ermöglicht.
- Erstmals laufe ein MoE-Modell der Größe 35B-A3B verlustfrei und in Echtzeit auf Endgeräten
- auf einem iPhone 18 Pro Max wurden über 20 Token/s Dekodierung gemessen.
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- 公众号:面壁智能(MiniCPM)
- Kategorie
- Tutorials & Tipps
- KI-Bewertung
- 68
原文拆解了 LES 在调度、存储、计算三层的具体设计,并给出消融数据,方法可迁移到其他 MoE 模型的端侧部署。
Themen
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: ModelBest erklärt, wie Lookahead Expert Scheduling (LES) ein 35B-MoE-Modell verlustfrei in Echtzeit auf Smartphones bringt. 20. Oktober 2026. https://new.nat6.net/de/news/m2ylwtzb8x49c32spfl1wplqz/