Answer.AI lance ModernBERT, une nouvelle génération de modèles encodeurs destinée à remplacer BERT
Titre original:Finally, a Replacement for BERT: Introducing ModernBERT
Résumé IA
Answer.AI et LightOn lancent conjointement ModernBERT, une série de modèles encodeurs SOTA conçus pour remplacer BERT. Le modèle applique aux encodeurs les dernières améliorations d'architecture des LLM, comme Flash Attention et RoPE, et prend en charge un contexte de 8192 tokens, bien au-delà des 512 de BERT. Il surpasse les anciennes générations en vitesse comme sur les tâches en aval. Disponible en versions base (149M) et large (395M), il est intégré à Hugging Face Transformers v4.48.0 et peut remplacer directement les modèles de type BERT, notamment pour le RAG, la classification et la recherche de code.
Points clés
- Answer.
- AI et LightOn lancent conjointement ModernBERT,une série de modèles encodeurs SOTA conçus pour…
- Le modèle applique aux encodeurs les dernières améliorations d'architecture des LLM,comme Flash…
- Il surpasse les anciennes générations en vitesse comme sur les tâches en aval.
- Disponible en versions base (149M) et large (395M),il est intégré à Hugging Face Transformers v4.
En bref
- Publié
- Mis à jour
- Source
- Answer.AI 官方研发博客(RSS)
- Catégorie
- Sorties de modèles
- Score IA
- 82
这是六年来首个真正意义上对 BERT 架构的重大升级,解决了长上下文限制并提升了效率,对依赖编码器的 RAG 和搜索系统开发者具有直接的生产力价值。
Entités associées
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Answer.AI lance ModernBERT, une nouvelle génération de modèles encodeurs destinée à remplacer BERT. 19. décembre 2024. https://new.nat6.net/fr/news/f9k3aucnsfxp6dv9j3qfq6pd3/