Ipinaliwanag ng ModelBest kung paano pinapatakbo ng lookahead expert scheduling LES ang 35B MoE nang real-time at walang loss sa mobile device
Orihinal na pamagat:面壁智能前瞻专家调度(LES):让 35B MoE 在手机上实时无损运行的推理技术
AI summary
Ipinakilala ng MiniCPM-V team ng ModelBest ang lookahead expert scheduling (LES) technology na sumusuporta sa on-device na pagtakbo ng MiniCPM-V 4.7, at sinabing unang beses na nakamit ang real-time at lossless na pagtakbo ng 35B-A3B scale MoE sa device, na may decoding na lumalampas sa 20 token/s sa iPhone 18 Pro Max sa aktwal na pagsubok.
Mahahalagang impormasyon
- Ipinakilala ng MiniCPM-V team ng ModelBest ang lookahead expert scheduling (LES) technology na…
- at sinabing unang beses na nakamit ang real-time at lossless na pagtakbo ng 35B-A3B scale MoE sa…
- na may decoding na lumalampas sa 20 token/s sa iPhone 18 Pro Max sa aktwal na pagsubok.
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- 公众号:面壁智能(MiniCPM)
- Kategorya
- Mga Tutorial at Tip
- AI na marka
- 68
原文拆解了 LES 在调度、存储、计算三层的具体设计,并给出消融数据,方法可迁移到其他 MoE 模型的端侧部署。
Mga kaugnay na paksa
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Ipinaliwanag ng ModelBest kung paano pinapatakbo ng lookahead expert scheduling LES ang 35B MoE nang real-time at walang loss sa mobile device. 20 Oktubre 2026. https://new.nat6.net/fil/news/m2ylwtzb8x49c32spfl1wplqz/