Answer.AI merilis ModernBERT: model encoder generasi baru pengganti BERT
Judul asli:Finally, a Replacement for BERT: Introducing ModernBERT
Ringkasan AI
Answer.AI dan LightOn bersama-sama merilis ModernBERT, serangkaian model encoder SOTA yang dirancang untuk menggantikan BERT. Model ini menerapkan penyempurnaan arsitektur terbaru dari LLM (seperti Flash Attention dan RoPE) pada encoder, mendukung panjang konteks 8192 token (jauh melebihi 512 token pada BERT tradisional), dan melampaui model generasi lama dalam hal kecepatan serta performa tugas hilir. Tersedia dalam dua ukuran parameter, base (149M) dan large (395M), telah terintegrasi ke Hugging Face Transformers v4.48.0, dan dapat langsung digunakan sebagai pengganti plug-and-play untuk model sejenis BERT, cocok untuk RAG, klasifikasi, dan pencarian kode.
Poin utama
- Answer.
- AI dan LightOn bersama-sama merilis ModernBERT,serangkaian model encoder SOTA yang dirancang untuk…
- Model ini menerapkan penyempurnaan arsitektur terbaru dari LLM (seperti Flash Attention dan RoPE)…
- Tersedia dalam dua ukuran parameter,base (149M) dan large (395M),telah terintegrasi ke Hugging…
- 0,dan dapat langsung digunakan sebagai pengganti plug-and-play untuk model sejenis BERT,cocok…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- Answer.AI 官方研发博客(RSS)
- Kategori
- Rilis Model
- Skor AI
- 82
这是六年来首个真正意义上对 BERT 架构的重大升级,解决了长上下文限制并提升了效率,对依赖编码器的 RAG 和搜索系统开发者具有直接的生产力价值。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Answer.AI merilis ModernBERT: model encoder generasi baru pengganti BERT. 19 Desember 2024. https://new.nat6.net/id/news/f9k3aucnsfxp6dv9j3qfq6pd3/