ModelBest explica cómo la programación anticipada de expertos LES permite que un MoE de 35B se ejecute en tiempo real y sin pérdidas en el móvil
Título original:面壁智能前瞻专家调度(LES):让 35B MoE 在手机上实时无损运行的推理技术
Resumen de IA
El equipo de MiniCPM-V de ModelBest presentó la tecnología de programación anticipada de expertos (LES) que sustenta la ejecución en dispositivo de MiniCPM-V 4.7, y afirmó que logra por primera vez que un MoE de escala 35B-A3B se ejecute en tiempo real y sin pérdidas en el dispositivo, con más de 20 tokens/s de decodificación medidas en un iPhone 18 Pro Max.
Puntos clave
- El equipo de MiniCPM-V de ModelBest presentó la tecnología de programación anticipada de expertos…
- y afirmó que logra por primera vez que un MoE de escala 35B-A3B se ejecute en tiempo real y sin…
- con más de 20 tokens/s de decodificación medidas en un iPhone 18 Pro Max.
Resumen rápido
- Publicado
- Actualizado
- Fuente
- 公众号:面壁智能(MiniCPM)
- Categoría
- Tutoriales y consejos
- Puntuación IA
- 68
原文拆解了 LES 在调度、存储、计算三层的具体设计,并给出消融数据,方法可迁移到其他 MoE 模型的端侧部署。
Temas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: ModelBest explica cómo la programación anticipada de expertos LES permite que un MoE de 35B se ejecute en tiempo real y sin pérdidas en el móvil. 20. octubre 2026. https://new.nat6.net/es/news/m2ylwtzb8x49c32spfl1wplqz/