Mga Tutorial at Tip

Ipinaliwanag ng ModelBest kung paano pinapatakbo ng lookahead expert scheduling LES ang 35B MoE nang real-time at walang loss sa mobile device

Orihinal na pamagat:面壁智能前瞻专家调度(LES):让 35B MoE 在手机上实时无损运行的推理技术

AI summary

Ipinakilala ng MiniCPM-V team ng ModelBest ang lookahead expert scheduling (LES) technology na sumusuporta sa on-device na pagtakbo ng MiniCPM-V 4.7, at sinabing unang beses na nakamit ang real-time at lossless na pagtakbo ng 35B-A3B scale MoE sa device, na may decoding na lumalampas sa 20 token/s sa iPhone 18 Pro Max sa aktwal na pagsubok.

Mahahalagang impormasyon

  • Ipinakilala ng MiniCPM-V team ng ModelBest ang lookahead expert scheduling (LES) technology na…
  • at sinabing unang beses na nakamit ang real-time at lossless na pagtakbo ng 35B-A3B scale MoE sa…
  • na may decoding na lumalampas sa 20 token/s sa iPhone 18 Pro Max sa aktwal na pagsubok.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
公众号:面壁智能(MiniCPM)
Kategorya
Mga Tutorial at Tip
Paksa
Open source ecosystemInhinyeriya ng deploymentMga tutorial at praktika
AI na marka
68
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

原文拆解了 LES 在调度、存储、计算三层的具体设计,并给出消融数据,方法可迁移到其他 MoE 模型的端侧部署。

Mga kaugnay na paksa

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Ipinaliwanag ng ModelBest kung paano pinapatakbo ng lookahead expert scheduling LES ang 35B MoE nang real-time at walang loss sa mobile device. 20 Oktubre 2026. https://new.nat6.net/fil/news/m2ylwtzb8x49c32spfl1wplqz/

Tingnan lahat →