Answer.AI 发布 ModernBERT:替代 BERT 的新一代编码器模型
原文标题:Finally, a Replacement for BERT: Introducing ModernBERT
AI 摘要
Answer.AI 与 LightOn 联合发布 ModernBERT,这是一系列旨在取代 BERT 的 SOTA 编码器模型。该模型将 LLM 的最新架构改进(如 Flash Attention、RoPE)应用于编码器,支持 8192 token 上下文长度(远超传统 BERT 的 512),并在速度和下游任务性能上全面超越旧一代模型。提供 base (149M) 和 large (395M) 两种参数规模,已集成至 Hugging Face Transformers v4.48.0,可直接作为 BERT 类模型的即插即用替代品,适用于 RAG、分类及代码检索等场景。
关键信息
- Answer.
- AI 与 LightOn 联合发布 ModernBERT,这是一系列旨在取代 BERT 的 SOTA 编码器模型。
- 该模型将 LLM 的最新架构改进(如 Flash Attention、RoPE)应用于编码器,支持 8192 token 上下文长度(远超传统 BERT 的 512),并在速度和下游任务性能上全面超…
- 提供 base (149M) 和 large (395M) 两种参数规模,已集成至 Hugging Face Transformers v4.
- 0,可直接作为 BERT 类模型的即插即用替代品,适用于 RAG、分类及代码检索等场景
速览
- 发布时间
- 更新时间
- 分类
- 模型发布
- AI 评分
- 82
推荐理由
这是六年来首个真正意义上对 BERT 架构的重大升级,解决了长上下文限制并提升了效率,对依赖编码器的 RAG 和搜索系统开发者具有直接的生产力价值。
相关实体
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:Answer.AI 发布 ModernBERT:替代 BERT 的新一代编码器模型。2024年12月19日。https://new.nat6.net/news/f9k3aucnsfxp6dv9j3qfq6pd3/