เปิดตัวโมเดล

Answer.AI เปิดตัว ModernBERT โมเดลเอนโคเดอร์รุ่นใหม่ทดแทน BERT

หัวข้อต้นฉบับ:Finally, a Replacement for BERT: Introducing ModernBERT

สรุปโดย AI

Answer.AI ร่วมกับ LightOn เปิดตัว ModernBERT ชุดโมเดลเอนโคเดอร์ SOTA ที่มีเป้าหมายทดแทน BERT โดยนำการปรับปรุงสถาปัตยกรรมล่าสุดของ LLM เช่น Flash Attention และ RoPE มาใช้กับเอนโคเดอร์ รองรับบริบท 8192 token มากกว่า BERT เดิมที่ 512 อย่างมาก และเหนือกว่าโมเดลรุ่นเก่าในด้านความเร็วและประสิทธิภาพงานปลายทาง มีขนาดพารามิเตอร์ base (149M) และ large (395M) เชื่อมต่อกับ Hugging Face Transformers v4.48.0 แล้ว ใช้แทนโมเดลตระกูล BERT ได้ทันที เหมาะกับ RAG การจำแนกประเภท และการค้นหาโค้ด

ข้อมูลสำคัญ

  • Answer.
  • AI ร่วมกับ LightOn เปิดตัว ModernBERT ชุดโมเดลเอนโคเดอร์ SOTA ที่มีเป้าหมายทดแทน BERT…
  • 0 แล้ว ใช้แทนโมเดลตระกูล BERT ได้ทันที เหมาะกับ RAG การจำแนกประเภท และการค้นหาโค้ด

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
Answer.AI 官方研发博客(RSS)
หมวดหมู่
เปิดตัวโมเดล
คะแนน AI
82
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

这是六年来首个真正意义上对 BERT 架构的重大升级,解决了长上下文限制并提升了效率,对依赖编码器的 RAG 和搜索系统开发者具有直接的生产力价值。

เอนทิตีที่เกี่ยวข้อง

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: Answer.AI เปิดตัว ModernBERT โมเดลเอนโคเดอร์รุ่นใหม่ทดแทน BERT 19 ธันวาคม 2024 https://new.nat6.net/th/news/f9k3aucnsfxp6dv9j3qfq6pd3/

ดูทั้งหมด →