Lanzamientos de modelos

Answer.AI lanza ModernBERT: una nueva generación de modelos codificadores para sustituir a BERT

Título original:Finally, a Replacement for BERT: Introducing ModernBERT

Resumen de IA

Answer.AI y LightOn presentan conjuntamente ModernBERT, una serie de modelos codificadores SOTA destinados a reemplazar a BERT. El modelo aplica al codificador mejoras arquitectónicas recientes de los LLM, como Flash Attention y RoPE, admite una longitud de contexto de 8192 tokens, muy superior a los 512 de BERT tradicional, y supera a los modelos de la generación anterior tanto en velocidad como en rendimiento en tareas posteriores. Se ofrece en escalas de parámetros base (149M) y large (395M), ya está integrado en Hugging Face Transformers v4.48.0 y puede usarse como sustituto plug-and-play de modelos tipo BERT en escenarios como RAG, clasificación y recuperación de código.

Puntos clave

  • Answer.
  • AI y LightOn presentan conjuntamente ModernBERT,una serie de modelos codificadores SOTA destinados…
  • El modelo aplica al codificador mejoras arquitectónicas recientes de los LLM,como Flash Attention…
  • Se ofrece en escalas de parámetros base (149M) y large (395M),ya está integrado en Hugging Face…
  • 0 y puede usarse como sustituto plug-and-play de modelos tipo BERT en escenarios como…

Resumen rápido

Publicado
Actualizado
Fuente
Answer.AI 官方研发博客(RSS)
Categoría
Lanzamientos de modelos
Puntuación IA
82
Leer el original Leer el artículo completo en la fuente original
Por qué importa

这是六年来首个真正意义上对 BERT 架构的重大升级,解决了长上下文限制并提升了效率,对依赖编码器的 RAG 和搜索系统开发者具有直接的生产力价值。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Answer.AI lanza ModernBERT: una nueva generación de modelos codificadores para sustituir a BERT. 19. diciembre 2024. https://new.nat6.net/es/news/f9k3aucnsfxp6dv9j3qfq6pd3/

Ver todo →