Rilis Model

Answer.AI merilis ModernBERT: model encoder generasi baru pengganti BERT

Judul asli:Finally, a Replacement for BERT: Introducing ModernBERT

Ringkasan AI

Answer.AI dan LightOn bersama-sama merilis ModernBERT, serangkaian model encoder SOTA yang dirancang untuk menggantikan BERT. Model ini menerapkan penyempurnaan arsitektur terbaru dari LLM (seperti Flash Attention dan RoPE) pada encoder, mendukung panjang konteks 8192 token (jauh melebihi 512 token pada BERT tradisional), dan melampaui model generasi lama dalam hal kecepatan serta performa tugas hilir. Tersedia dalam dua ukuran parameter, base (149M) dan large (395M), telah terintegrasi ke Hugging Face Transformers v4.48.0, dan dapat langsung digunakan sebagai pengganti plug-and-play untuk model sejenis BERT, cocok untuk RAG, klasifikasi, dan pencarian kode.

Poin utama

  • Answer.
  • AI dan LightOn bersama-sama merilis ModernBERT,serangkaian model encoder SOTA yang dirancang untuk…
  • Model ini menerapkan penyempurnaan arsitektur terbaru dari LLM (seperti Flash Attention dan RoPE)…
  • Tersedia dalam dua ukuran parameter,base (149M) dan large (395M),telah terintegrasi ke Hugging…
  • 0,dan dapat langsung digunakan sebagai pengganti plug-and-play untuk model sejenis BERT,cocok…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Answer.AI 官方研发博客(RSS)
Kategori
Rilis Model
Skor AI
82
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

这是六年来首个真正意义上对 BERT 架构的重大升级,解决了长上下文限制并提升了效率,对依赖编码器的 RAG 和搜索系统开发者具有直接的生产力价值。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Answer.AI merilis ModernBERT: model encoder generasi baru pengganti BERT. 19 Desember 2024. https://new.nat6.net/id/news/f9k3aucnsfxp6dv9j3qfq6pd3/

Lihat semua →