Tutoriels et astuces

ModelBest explique comment la planification anticipée d'experts (LES) permet à un MoE 35B de tourner en temps réel et sans perte sur mobile

Titre original:面壁智能前瞻专家调度(LES):让 35B MoE 在手机上实时无损运行的推理技术

Résumé IA

L'équipe MiniCPM-V de ModelBest présente la technologie de planification anticipée d'experts (LES) qui sous-tend l'exécution embarquée de MiniCPM-V 4.7. Elle revendique la première exécution en temps réel et sans perte d'un MoE de taille 35B-A3B sur appareil, avec un décodage mesuré à plus de 20 tokens/s sur iPhone 18 Pro Max.

Points clés

  • L'équipe MiniCPM-V de ModelBest présente la technologie de planification anticipée d'experts (LES)…
  • Elle revendique la première exécution en temps réel et sans perte d'un MoE de taille 35B-A3B sur…
  • avec un décodage mesuré à plus de 20 tokens/s sur iPhone 18 Pro Max.

En bref

Publié
Mis à jour
Source
公众号:面壁智能(MiniCPM)
Catégorie
Tutoriels et astuces
Sujet
Écosystème open sourceIngénierie de déploiementTutoriels et pratique
Score IA
68
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

原文拆解了 LES 在调度、存储、计算三层的具体设计,并给出消融数据,方法可迁移到其他 MoE 模型的端侧部署。

Sujets

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : ModelBest explique comment la planification anticipée d'experts (LES) permet à un MoE 35B de tourner en temps réel et sans perte sur mobile. 20. octobre 2026. https://new.nat6.net/fr/news/m2ylwtzb8x49c32spfl1wplqz/

Tout voir →