Tutorials & Tipps

ModelBest erklärt, wie Lookahead Expert Scheduling (LES) ein 35B-MoE-Modell verlustfrei in Echtzeit auf Smartphones bringt

Originaltitel:面壁智能前瞻专家调度(LES):让 35B MoE 在手机上实时无损运行的推理技术

KI-Zusammenfassung

Das MiniCPM-V-Team von ModelBest stellt die Lookahead-Expert-Scheduling-Technik (LES) vor, die den On-Device-Betrieb von MiniCPM-V 4.7 ermöglicht. Erstmals laufe ein MoE-Modell der Größe 35B-A3B verlustfrei und in Echtzeit auf Endgeräten; auf einem iPhone 18 Pro Max wurden über 20 Token/s Dekodierung gemessen.

Kernpunkte

  • Das MiniCPM-V-Team von ModelBest stellt die Lookahead-Expert-Scheduling-Technik (LES) vor,die den…
  • 7 ermöglicht.
  • Erstmals laufe ein MoE-Modell der Größe 35B-A3B verlustfrei und in Echtzeit auf Endgeräten
  • auf einem iPhone 18 Pro Max wurden über 20 Token/s Dekodierung gemessen.

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
公众号:面壁智能(MiniCPM)
Kategorie
Tutorials & Tipps
Thema
Open-Source-ÖkosystemDeployment-EngineeringTutorials und Praxis
KI-Bewertung
68
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

原文拆解了 LES 在调度、存储、计算三层的具体设计,并给出消融数据,方法可迁移到其他 MoE 模型的端侧部署。

Themen

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: ModelBest erklärt, wie Lookahead Expert Scheduling (LES) ein 35B-MoE-Modell verlustfrei in Echtzeit auf Smartphones bringt. 20. Oktober 2026. https://new.nat6.net/de/news/m2ylwtzb8x49c32spfl1wplqz/

Alle ansehen →