Tutorial & Tips

ModelBest menganalisis penjadwalan pakar prospektif LES yang memungkinkan MoE 35B berjalan real-time tanpa kehilangan di ponsel

Judul asli:面壁智能前瞻专家调度(LES):让 35B MoE 在手机上实时无损运行的推理技术

Ringkasan AI

Tim MiniCPM-V ModelBest memperkenalkan teknologi penjadwalan pakar prospektif (LES) yang mendukung MiniCPM-V 4.7 berjalan di perangkat, mengklaim pertama kali mewujudkan MoE skala 35B-A3B berjalan real-time tanpa kehilangan di perangkat, dengan pengujian iPhone 18 Pro Max mencapai dekode lebih dari 20 token/s.

Poin utama

  • Tim MiniCPM-V ModelBest memperkenalkan teknologi penjadwalan pakar prospektif (LES) yang mendukung…
  • 7 berjalan di perangkat,mengklaim pertama kali mewujudkan MoE skala 35B-A3B berjalan real-time…
  • dengan pengujian iPhone 18 Pro Max mencapai dekode lebih dari 20 token/s.

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
公众号:面壁智能(MiniCPM)
Kategori
Tutorial & Tips
Topik
Ekosistem Sumber TerbukaRekayasa PenerapanTutorial dan Praktik
Skor AI
68
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

原文拆解了 LES 在调度、存储、计算三层的具体设计,并给出消融数据,方法可迁移到其他 MoE 模型的端侧部署。

Topik terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: ModelBest menganalisis penjadwalan pakar prospektif LES yang memungkinkan MoE 35B berjalan real-time tanpa kehilangan di ponsel. 20 Oktober 2026. https://new.nat6.net/id/news/m2ylwtzb8x49c32spfl1wplqz/

Lihat semua →