Релизы моделей

Answer.AI выпустила ModernBERT — новое поколение моделей-энкодеров на замену BERT

Оригинальный заголовок:Finally, a Replacement for BERT: Introducing ModernBERT

ИИ-резюме

Answer.AI и LightOn совместно выпустили ModernBERT — серию SOTA-моделей-энкодеров, призванных заменить BERT. Модель переносит последние архитектурные улучшения LLM (такие как Flash Attention и RoPE) на энкодеры, поддерживает контекст 8192 токена (значительно больше 512 у традиционного BERT) и превосходит модели прошлого поколения по скорости и качеству на нижестоящих задачах. Доступны два размера — base (149M) и large (395M); модель интегрирована в Hugging Face Transformers v4.48.0 и может напрямую использоваться как замена моделей класса BERT в RAG, классификации и поиске по коду.

Ключевые моменты

  • Answer.
  • AI и LightOn совместно выпустили ModernBERT — серию SOTA-моделей-энкодеров,призванных заменить BERT.
  • Модель переносит последние архитектурные улучшения LLM (такие как Flash Attention и RoPE) на…
  • Доступны два размера — base (149M) и large (395M)
  • модель интегрирована в Hugging Face Transformers v4.

Кратко

Опубликовано
Обновлено
Источник
Answer.AI 官方研发博客(RSS)
Категория
Релизы моделей
Оценка ИИ
82
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

这是六年来首个真正意义上对 BERT 架构的重大升级,解决了长上下文限制并提升了效率,对依赖编码器的 RAG 和搜索系统开发者具有直接的生产力价值。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Answer.AI выпустила ModernBERT — новое поколение моделей-энкодеров на замену BERT. 19 декабря 2024. https://new.nat6.net/ru/news/f9k3aucnsfxp6dv9j3qfq6pd3/

Смотреть все →