Ra mắt mô hình

Answer.AI phát hành ModernBERT: thế hệ mô hình encoder mới thay thế BERT

Tiêu đề gốc:Finally, a Replacement for BERT: Introducing ModernBERT

Tóm tắt AI

Answer.AI và LightOn cùng phát hành ModernBERT, loạt mô hình encoder SOTA nhằm thay thế BERT. Mô hình áp dụng các cải tiến kiến trúc mới nhất của LLM (như Flash Attention, RoPE) cho encoder, hỗ trợ ngữ cảnh 8192 token (vượt xa 512 của BERT truyền thống), đồng thời vượt toàn diện thế hệ mô hình cũ về tốc độ và hiệu suất tác vụ hạ nguồn. Cung cấp hai quy mô tham số base (149M) và large (395M), đã tích hợp vào Hugging Face Transformers v4.48.0, có thể dùng thay thế trực tiếp cho các mô hình kiểu BERT, phù hợp với RAG, phân loại và truy xuất mã.

Thông tin chính

  • Answer.
  • AI và LightOn cùng phát hành ModernBERT,loạt mô hình encoder SOTA nhằm thay thế BERT.
  • Mô hình áp dụng các cải tiến kiến trúc mới nhất của LLM (như Flash Attention,RoPE) cho encoder,hỗ…
  • Cung cấp hai quy mô tham số base (149M) và large (395M),đã tích hợp vào Hugging Face Transformers…
  • 0,có thể dùng thay thế trực tiếp cho các mô hình kiểu BERT,phù hợp với RAG,phân loại và truy xuất…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
Answer.AI 官方研发博客(RSS)
Danh mục
Ra mắt mô hình
Điểm AI
82
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

这是六年来首个真正意义上对 BERT 架构的重大升级,解决了长上下文限制并提升了效率,对依赖编码器的 RAG 和搜索系统开发者具有直接的生产力价值。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Answer.AI phát hành ModernBERT: thế hệ mô hình encoder mới thay thế BERT. 19 tháng 12 2024. https://new.nat6.net/vi/news/f9k3aucnsfxp6dv9j3qfq6pd3/

Xem tất cả →