Answer.AI melancarkan ModernBERT: model pengekod generasi baharu pengganti BERT
Tajuk asal:Finally, a Replacement for BERT: Introducing ModernBERT
Ringkasan AI
Answer.AI dan LightOn bersama-sama melancarkan ModernBERT, siri model pengekod SOTA yang bertujuan menggantikan BERT. Model ini menggunakan penambahbaikan seni bina terkini LLM (seperti Flash Attention dan RoPE) pada pengekod, menyokong panjang konteks 8192 token (jauh melebihi 512 token BERT tradisional), dan mengatasi model generasi lama sepenuhnya dari segi kelajuan dan prestasi tugas hiliran. Ia ditawarkan dalam dua saiz parameter, base (149M) dan large (395M), telah disepadukan ke dalam Hugging Face Transformers v4.48.0, dan boleh digunakan terus sebagai pengganti plug-and-play untuk model jenis BERT dalam senario RAG, pengelasan dan capaian kod.
Maklumat penting
- Answer.
- AI dan LightOn bersama-sama melancarkan ModernBERT,siri model pengekod SOTA yang bertujuan…
- Model ini menggunakan penambahbaikan seni bina terkini LLM (seperti Flash Attention dan RoPE) pada…
- Ia ditawarkan dalam dua saiz parameter,base (149M) dan large (395M),telah disepadukan ke dalam…
- 0,dan boleh digunakan terus sebagai pengganti plug-and-play untuk model jenis BERT dalam senario…
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- Answer.AI 官方研发博客(RSS)
- Kategori
- Pelancaran Model
- Skor AI
- 82
这是六年来首个真正意义上对 BERT 架构的重大升级,解决了长上下文限制并提升了效率,对依赖编码器的 RAG 和搜索系统开发者具有直接的生产力价值。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Answer.AI melancarkan ModernBERT: model pengekod generasi baharu pengganti BERT. 19 Disember 2024. https://new.nat6.net/ms/news/f9k3aucnsfxp6dv9j3qfq6pd3/