チュートリアル

面壁智能、先読みエキスパートスケジューリングLESによる35B MoEの端末リアルタイム無損失動作を解説

原題:面壁智能前瞻专家调度(LES):让 35B MoE 在手机上实时无损运行的推理技术

AI 要約

面壁智能のMiniCPM-Vチームは、MiniCPM-V 4.7の端末動作を支える先読みエキスパートスケジューリング(LES)技術を紹介した。35B-A3B規模のMoEを端末側でリアルタイムかつ無損失に動作させることを初めて実現したとし、iPhone 18 Pro Maxでの実測デコード速度は20 token/s超とした。

要点

  • 面壁智能のMiniCPM-Vチームは、MiniCPM-V 4.
  • 7の端末動作を支える先読みエキスパートスケジューリング(LES)技術を紹介した。
  • 35B-A3B規模のMoEを端末側でリアルタイムかつ無損失に動作させることを初めて実現したとし、iPhone 18 Pro Maxでの実測デコード速度は20 token/s超とした

概要

公開日時
更新日時
出典
公众号:面壁智能(MiniCPM)
カテゴリ
チュートリアル
トピック
オープンソースエコシステムデプロイエンジニアリングチュートリアルと実践
AI スコア
68
原文を読む 情報源で全文を読む
おすすめの理由

原文拆解了 LES 在调度、存储、计算三层的具体设计,并给出消融数据,方法可迁移到其他 MoE 模型的端侧部署。

関連トピック

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:面壁智能、先読みエキスパートスケジューリングLESによる35B MoEの端末リアルタイム無損失動作を解説。2026年10月20日。https://new.nat6.net/ja/news/m2ylwtzb8x49c32spfl1wplqz/

すべて見る →