模型发布

Answer.AI 发布 ModernBERT:替代 BERT 的新一代编码器模型

原文标题:Finally, a Replacement for BERT: Introducing ModernBERT

AI 摘要

Answer.AI 与 LightOn 联合发布 ModernBERT,这是一系列旨在取代 BERT 的 SOTA 编码器模型。该模型将 LLM 的最新架构改进(如 Flash Attention、RoPE)应用于编码器,支持 8192 token 上下文长度(远超传统 BERT 的 512),并在速度和下游任务性能上全面超越旧一代模型。提供 base (149M) 和 large (395M) 两种参数规模,已集成至 Hugging Face Transformers v4.48.0,可直接作为 BERT 类模型的即插即用替代品,适用于 RAG、分类及代码检索等场景。

关键信息

  • Answer.
  • AI 与 LightOn 联合发布 ModernBERT,这是一系列旨在取代 BERT 的 SOTA 编码器模型。
  • 该模型将 LLM 的最新架构改进(如 Flash Attention、RoPE)应用于编码器,支持 8192 token 上下文长度(远超传统 BERT 的 512),并在速度和下游任务性能上全面超…
  • 提供 base (149M) 和 large (395M) 两种参数规模,已集成至 Hugging Face Transformers v4.
  • 0,可直接作为 BERT 类模型的即插即用替代品,适用于 RAG、分类及代码检索等场景

速览

发布时间
更新时间
来源
Answer.AI 官方研发博客(RSS)
分类
模型发布
AI 评分
82
阅读原文 前往信息源阅读完整正文
推荐理由

这是六年来首个真正意义上对 BERT 架构的重大升级,解决了长上下文限制并提升了效率,对依赖编码器的 RAG 和搜索系统开发者具有直接的生产力价值。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:Answer.AI 发布 ModernBERT:替代 BERT 的新一代编码器模型。2024年12月19日。https://new.nat6.net/news/f9k3aucnsfxp6dv9j3qfq6pd3/

查看全部 →