Sorties de modèles

Answer.AI lance ModernBERT, une nouvelle génération de modèles encodeurs destinée à remplacer BERT

Titre original:Finally, a Replacement for BERT: Introducing ModernBERT

Résumé IA

Answer.AI et LightOn lancent conjointement ModernBERT, une série de modèles encodeurs SOTA conçus pour remplacer BERT. Le modèle applique aux encodeurs les dernières améliorations d'architecture des LLM, comme Flash Attention et RoPE, et prend en charge un contexte de 8192 tokens, bien au-delà des 512 de BERT. Il surpasse les anciennes générations en vitesse comme sur les tâches en aval. Disponible en versions base (149M) et large (395M), il est intégré à Hugging Face Transformers v4.48.0 et peut remplacer directement les modèles de type BERT, notamment pour le RAG, la classification et la recherche de code.

Points clés

  • Answer.
  • AI et LightOn lancent conjointement ModernBERT,une série de modèles encodeurs SOTA conçus pour…
  • Le modèle applique aux encodeurs les dernières améliorations d'architecture des LLM,comme Flash…
  • Il surpasse les anciennes générations en vitesse comme sur les tâches en aval.
  • Disponible en versions base (149M) et large (395M),il est intégré à Hugging Face Transformers v4.

En bref

Publié
Mis à jour
Source
Answer.AI 官方研发博客(RSS)
Catégorie
Sorties de modèles
Score IA
82
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

这是六年来首个真正意义上对 BERT 架构的重大升级,解决了长上下文限制并提升了效率,对依赖编码器的 RAG 和搜索系统开发者具有直接的生产力价值。

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Answer.AI lance ModernBERT, une nouvelle génération de modèles encodeurs destinée à remplacer BERT. 19. décembre 2024. https://new.nat6.net/fr/news/f9k3aucnsfxp6dv9j3qfq6pd3/

Tout voir →