Tutorial dan petua

ModelBest huraikan cara penjadualan pakar prospektif LES membolehkan MoE 35B berjalan masa nyata tanpa kehilangan pada peranti mudah alih

Tajuk asal:面壁智能前瞻专家调度(LES):让 35B MoE 在手机上实时无损运行的推理技术

Ringkasan AI

Pasukan MiniCPM-V ModelBest memperkenalkan teknologi penjadualan pakar prospektif (LES) yang menyokong operasi MiniCPM-V 4.7 pada peranti, mendakwa buat pertama kali merealisasikan operasi masa nyata tanpa kehilangan MoE berskala 35B-A3B pada peranti, dengan ujian sebenar iPhone 18 Pro Max merekodkan penyahkodan melebihi 20 token/s.

Maklumat penting

  • Pasukan MiniCPM-V ModelBest memperkenalkan teknologi penjadualan pakar prospektif (LES) yang…
  • 7 pada peranti,mendakwa buat pertama kali merealisasikan operasi masa nyata tanpa kehilangan MoE…
  • dengan ujian sebenar iPhone 18 Pro Max merekodkan penyahkodan melebihi 20 token/s.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
公众号:面壁智能(MiniCPM)
Kategori
Tutorial dan petua
Topik
Ekosistem sumber terbukaKejuruteraan penggunaanTutorial dan amalan
Skor AI
68
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

原文拆解了 LES 在调度、存储、计算三层的具体设计,并给出消融数据,方法可迁移到其他 MoE 模型的端侧部署。

Topik berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: ModelBest huraikan cara penjadualan pakar prospektif LES membolehkan MoE 35B berjalan masa nyata tanpa kehilangan pada peranti mudah alih. 20 Oktober 2026. https://new.nat6.net/ms/news/m2ylwtzb8x49c32spfl1wplqz/

Lihat Semua →