บทแนะนำและเทคนิค

ModelBest วิเคราะห์การจัดตารางผู้เชี่ยวชาญล่วงหน้า LES ทำให้ MoE 35B รันบนมือถือแบบเรียลไทม์โดยไม่สูญเสีย

หัวข้อต้นฉบับ:面壁智能前瞻专家调度(LES):让 35B MoE 在手机上实时无损运行的推理技术

สรุปโดย AI

ทีม MiniCPM-V ของ ModelBest แนะนำเทคโนโลยีการจัดตารางผู้เชี่ยวชาญล่วงหน้า (LES) ที่รองรับการรัน MiniCPM-V 4.7 บนอุปกรณ์ปลายทาง โดยอ้างว่าเป็นครั้งแรกที่ทำให้ MoE ขนาด 35B-A3B รันบนอุปกรณ์ปลายทางแบบเรียลไทม์โดยไม่สูญเสีย และทดสอบจริงบน iPhone 18 Pro Max ได้ความเร็วถอดรหัสเกิน 20 token/s

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
公众号:面壁智能(MiniCPM)
หมวดหมู่
บทแนะนำและเทคนิค
หัวข้อ
ระบบนิเวศโอเพนซอร์สวิศวกรรมการติดตั้งใช้งานบทเรียนและการปฏิบัติ
คะแนน AI
68
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

原文拆解了 LES 在调度、存储、计算三层的具体设计,并给出消融数据,方法可迁移到其他 MoE 模型的端侧部署。

หัวข้อที่เกี่ยวข้อง

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: ModelBest วิเคราะห์การจัดตารางผู้เชี่ยวชาญล่วงหน้า LES ทำให้ MoE 35B รันบนมือถือแบบเรียลไทม์โดยไม่สูญเสีย 20 ตุลาคม 2026 https://new.nat6.net/th/news/m2ylwtzb8x49c32spfl1wplqz/

ดูทั้งหมด →