ModelBest menganalisis penjadwalan pakar prospektif LES yang memungkinkan MoE 35B berjalan real-time tanpa kehilangan di ponsel
Judul asli:面壁智能前瞻专家调度(LES):让 35B MoE 在手机上实时无损运行的推理技术
Ringkasan AI
Tim MiniCPM-V ModelBest memperkenalkan teknologi penjadwalan pakar prospektif (LES) yang mendukung MiniCPM-V 4.7 berjalan di perangkat, mengklaim pertama kali mewujudkan MoE skala 35B-A3B berjalan real-time tanpa kehilangan di perangkat, dengan pengujian iPhone 18 Pro Max mencapai dekode lebih dari 20 token/s.
Poin utama
- Tim MiniCPM-V ModelBest memperkenalkan teknologi penjadwalan pakar prospektif (LES) yang mendukung…
- 7 berjalan di perangkat,mengklaim pertama kali mewujudkan MoE skala 35B-A3B berjalan real-time…
- dengan pengujian iPhone 18 Pro Max mencapai dekode lebih dari 20 token/s.
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- 公众号:面壁智能(MiniCPM)
- Kategori
- Tutorial & Tips
- Skor AI
- 68
原文拆解了 LES 在调度、存储、计算三层的具体设计,并给出消融数据,方法可迁移到其他 MoE 模型的端侧部署。
Topik terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: ModelBest menganalisis penjadwalan pakar prospektif LES yang memungkinkan MoE 35B berjalan real-time tanpa kehilangan di ponsel. 20 Oktober 2026. https://new.nat6.net/id/news/m2ylwtzb8x49c32spfl1wplqz/