Answer.AI выпустила ModernBERT — новое поколение моделей-энкодеров на замену BERT
Оригинальный заголовок:Finally, a Replacement for BERT: Introducing ModernBERT
ИИ-резюме
Answer.AI и LightOn совместно выпустили ModernBERT — серию SOTA-моделей-энкодеров, призванных заменить BERT. Модель переносит последние архитектурные улучшения LLM (такие как Flash Attention и RoPE) на энкодеры, поддерживает контекст 8192 токена (значительно больше 512 у традиционного BERT) и превосходит модели прошлого поколения по скорости и качеству на нижестоящих задачах. Доступны два размера — base (149M) и large (395M); модель интегрирована в Hugging Face Transformers v4.48.0 и может напрямую использоваться как замена моделей класса BERT в RAG, классификации и поиске по коду.
Ключевые моменты
- Answer.
- AI и LightOn совместно выпустили ModernBERT — серию SOTA-моделей-энкодеров,призванных заменить BERT.
- Модель переносит последние архитектурные улучшения LLM (такие как Flash Attention и RoPE) на…
- Доступны два размера — base (149M) и large (395M)
- модель интегрирована в Hugging Face Transformers v4.
Кратко
- Опубликовано
- Обновлено
- Источник
- Answer.AI 官方研发博客(RSS)
- Категория
- Релизы моделей
- Оценка ИИ
- 82
这是六年来首个真正意义上对 BERT 架构的重大升级,解决了长上下文限制并提升了效率,对依赖编码器的 RAG 和搜索系统开发者具有直接的生产力价值。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Answer.AI выпустила ModernBERT — новое поколение моделей-энкодеров на замену BERT. 19 декабря 2024. https://new.nat6.net/ru/news/f9k3aucnsfxp6dv9j3qfq6pd3/