Tutoriales y consejos

ModelBest explica cómo la programación anticipada de expertos LES permite que un MoE de 35B se ejecute en tiempo real y sin pérdidas en el móvil

Título original:面壁智能前瞻专家调度(LES):让 35B MoE 在手机上实时无损运行的推理技术

Resumen de IA

El equipo de MiniCPM-V de ModelBest presentó la tecnología de programación anticipada de expertos (LES) que sustenta la ejecución en dispositivo de MiniCPM-V 4.7, y afirmó que logra por primera vez que un MoE de escala 35B-A3B se ejecute en tiempo real y sin pérdidas en el dispositivo, con más de 20 tokens/s de decodificación medidas en un iPhone 18 Pro Max.

Puntos clave

  • El equipo de MiniCPM-V de ModelBest presentó la tecnología de programación anticipada de expertos…
  • y afirmó que logra por primera vez que un MoE de escala 35B-A3B se ejecute en tiempo real y sin…
  • con más de 20 tokens/s de decodificación medidas en un iPhone 18 Pro Max.

Resumen rápido

Publicado
Actualizado
Fuente
公众号:面壁智能(MiniCPM)
Categoría
Tutoriales y consejos
Tema
Ecosistema de código abiertoIngeniería de despliegueTutoriales y práctica
Puntuación IA
68
Leer el original Leer el artículo completo en la fuente original
Por qué importa

原文拆解了 LES 在调度、存储、计算三层的具体设计,并给出消融数据,方法可迁移到其他 MoE 模型的端侧部署。

Temas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: ModelBest explica cómo la programación anticipada de expertos LES permite que un MoE de 35B se ejecute en tiempo real y sin pérdidas en el móvil. 20. octubre 2026. https://new.nat6.net/es/news/m2ylwtzb8x49c32spfl1wplqz/

Ver todo →