Answer.AI lanza ModernBERT: una nueva generación de modelos codificadores para sustituir a BERT
Título original:Finally, a Replacement for BERT: Introducing ModernBERT
Resumen de IA
Answer.AI y LightOn presentan conjuntamente ModernBERT, una serie de modelos codificadores SOTA destinados a reemplazar a BERT. El modelo aplica al codificador mejoras arquitectónicas recientes de los LLM, como Flash Attention y RoPE, admite una longitud de contexto de 8192 tokens, muy superior a los 512 de BERT tradicional, y supera a los modelos de la generación anterior tanto en velocidad como en rendimiento en tareas posteriores. Se ofrece en escalas de parámetros base (149M) y large (395M), ya está integrado en Hugging Face Transformers v4.48.0 y puede usarse como sustituto plug-and-play de modelos tipo BERT en escenarios como RAG, clasificación y recuperación de código.
Puntos clave
- Answer.
- AI y LightOn presentan conjuntamente ModernBERT,una serie de modelos codificadores SOTA destinados…
- El modelo aplica al codificador mejoras arquitectónicas recientes de los LLM,como Flash Attention…
- Se ofrece en escalas de parámetros base (149M) y large (395M),ya está integrado en Hugging Face…
- 0 y puede usarse como sustituto plug-and-play de modelos tipo BERT en escenarios como…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- Answer.AI 官方研发博客(RSS)
- Categoría
- Lanzamientos de modelos
- Puntuación IA
- 82
这是六年来首个真正意义上对 BERT 架构的重大升级,解决了长上下文限制并提升了效率,对依赖编码器的 RAG 和搜索系统开发者具有直接的生产力价值。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Answer.AI lanza ModernBERT: una nueva generación de modelos codificadores para sustituir a BERT. 19. diciembre 2024. https://new.nat6.net/es/news/f9k3aucnsfxp6dv9j3qfq6pd3/