เปิดตัวโมเดล

EMO: โมเดลผสมผู้เชี่ยวชาญที่ฝึกอบรมล่วงหน้าให้โครงสร้างแบบโมดูลาร์เกิดขึ้นเอง

หัวข้อต้นฉบับ:EMO: Pretraining mixture of experts for emergent modularity

สรุปโดย AI

EMO เป็นโมเดลผสมผู้เชี่ยวชาญรูปแบบใหม่ ที่ผ่านการฝึกอบรมล่วงหน้าแบบต้นจนจบทำให้โครงสร้างแบบโมดูลาร์เกิดขึ้นเองจากข้อมูล โดยไม่ต้องพึ่งพาความรู้เดิมที่มนุษย์กำหนด โมเดลนี้อนุญาตให้ใช้เพียง 12.5% ของผู้เชี่ยวชาญย่อย (คือบางส่วนจาก 8 ผู้เชี่ยวชาญที่ใช้งานอยู่) ในงานเฉพาะทาง ขณะที่ยังคงประสิทธิภาพใกล้เคียงโมเดลเต็มรูปแบบ เมื่อใช้ผู้เชี่ยวชาญทั้ง 128 ตัวร่วมกันก็ยังเป็นโมเดลทั่วไปที่แข็งแกร่ง EMO มีพารามิเตอร์ที่ใช้งานอยู่ 1B และพารามิเตอร์รวม 14B ข้อมูลฝึกอบรม 1 ล้านล้านโทเคน เมื่อเทียบกับ MoE มาตรฐาน EMO ใช้การกำหนดเส้นทางระดับเอกสารเพื่อกระตุ้นให้ผู้เชี่ยวชาญรวมกลุ่มเฉพาะทางตามโดเมน จึงรองรับการใช้งานแบบเลือกใช้โดยไม่ทำให้ประสิทธิภาพลดลงอย่างรุนแรง บรรลุสถาปัตยกรรมที่ประกอบกันได้ และปรับสมดุลระหว่างหน่วยความจำกับความแม่นยำของ MoE แบบเบาบางขนาดใหญ่

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
Hugging Face 社区博客(混合发现)
หมวดหมู่
เปิดตัวโมเดล
คะแนน AI
72
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

EMO 让 MoE 专家从按词法分散进化到按语义域自然模块化,仅用 12.5% 专家就能接近全模型性能,对需要按需加载的大模型部署是真正的突破。

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: EMO: โมเดลผสมผู้เชี่ยวชาญที่ฝึกอบรมล่วงหน้าให้โครงสร้างแบบโมดูลาร์เกิดขึ้นเอง 9 พฤษภาคม 2026 https://new.nat6.net/th/news/cmox4xh0p006lslguuhqaou8t/

ดูทั้งหมด →