ModelBest explique comment la planification anticipée d'experts (LES) permet à un MoE 35B de tourner en temps réel et sans perte sur mobile
Titre original:面壁智能前瞻专家调度(LES):让 35B MoE 在手机上实时无损运行的推理技术
Résumé IA
L'équipe MiniCPM-V de ModelBest présente la technologie de planification anticipée d'experts (LES) qui sous-tend l'exécution embarquée de MiniCPM-V 4.7. Elle revendique la première exécution en temps réel et sans perte d'un MoE de taille 35B-A3B sur appareil, avec un décodage mesuré à plus de 20 tokens/s sur iPhone 18 Pro Max.
Points clés
- L'équipe MiniCPM-V de ModelBest présente la technologie de planification anticipée d'experts (LES)…
- Elle revendique la première exécution en temps réel et sans perte d'un MoE de taille 35B-A3B sur…
- avec un décodage mesuré à plus de 20 tokens/s sur iPhone 18 Pro Max.
En bref
- Publié
- Mis à jour
- Source
- 公众号:面壁智能(MiniCPM)
- Catégorie
- Tutoriels et astuces
- Score IA
- 68
原文拆解了 LES 在调度、存储、计算三层的具体设计,并给出消融数据,方法可迁移到其他 MoE 模型的端侧部署。
Sujets
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : ModelBest explique comment la planification anticipée d'experts (LES) permet à un MoE 35B de tourner en temps réel et sans perte sur mobile. 20. octobre 2026. https://new.nat6.net/fr/news/m2ylwtzb8x49c32spfl1wplqz/