Answer.AI เปิดตัว ModernBERT โมเดลเอนโคเดอร์รุ่นใหม่ทดแทน BERT
หัวข้อต้นฉบับ:Finally, a Replacement for BERT: Introducing ModernBERT
สรุปโดย AI
Answer.AI ร่วมกับ LightOn เปิดตัว ModernBERT ชุดโมเดลเอนโคเดอร์ SOTA ที่มีเป้าหมายทดแทน BERT โดยนำการปรับปรุงสถาปัตยกรรมล่าสุดของ LLM เช่น Flash Attention และ RoPE มาใช้กับเอนโคเดอร์ รองรับบริบท 8192 token มากกว่า BERT เดิมที่ 512 อย่างมาก และเหนือกว่าโมเดลรุ่นเก่าในด้านความเร็วและประสิทธิภาพงานปลายทาง มีขนาดพารามิเตอร์ base (149M) และ large (395M) เชื่อมต่อกับ Hugging Face Transformers v4.48.0 แล้ว ใช้แทนโมเดลตระกูล BERT ได้ทันที เหมาะกับ RAG การจำแนกประเภท และการค้นหาโค้ด
ข้อมูลสำคัญ
- Answer.
- AI ร่วมกับ LightOn เปิดตัว ModernBERT ชุดโมเดลเอนโคเดอร์ SOTA ที่มีเป้าหมายทดแทน BERT…
- 0 แล้ว ใช้แทนโมเดลตระกูล BERT ได้ทันที เหมาะกับ RAG การจำแนกประเภท และการค้นหาโค้ด
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- Answer.AI 官方研发博客(RSS)
- หมวดหมู่
- เปิดตัวโมเดล
- คะแนน AI
- 82
这是六年来首个真正意义上对 BERT 架构的重大升级,解决了长上下文限制并提升了效率,对依赖编码器的 RAG 和搜索系统开发者具有直接的生产力价值。
เอนทิตีที่เกี่ยวข้อง
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: Answer.AI เปิดตัว ModernBERT โมเดลเอนโคเดอร์รุ่นใหม่ทดแทน BERT 19 ธันวาคม 2024 https://new.nat6.net/th/news/f9k3aucnsfxp6dv9j3qfq6pd3/