Inilabas ng Answer.AI ang ModernBERT: bagong henerasyong encoder model na kapalit ng BERT
Orihinal na pamagat:Finally, a Replacement for BERT: Introducing ModernBERT
AI summary
Magkasamang inilabas ng Answer.AI at LightOn ang ModernBERT, isang serye ng SOTA encoder model na naglalayong palitan ang BERT. Inilalapat ng modelong ito ang mga pinakabagong architectural improvement ng LLM (tulad ng Flash Attention at RoPE) sa encoder, sumusuporta sa 8192 token context length (malayo sa 512 ng tradisyonal na BERT), at lubusang nalampasan ang lumang henerasyon ng mga modelo sa bilis at performance sa downstream tasks. May dalawang parameter scale na base (149M) at large (395M), naisama na sa Hugging Face Transformers v4.48.0, at maaaring direktang gamitin bilang plug-and-play na kapalit ng BERT-class models, angkop para sa RAG, classification at code retrieval at iba pang scenario.
Mahahalagang impormasyon
- Magkasamang inilabas ng Answer.
- AI at LightOn ang ModernBERT,isang serye ng SOTA encoder model na naglalayong palitan ang BERT.
- Inilalapat ng modelong ito ang mga pinakabagong architectural improvement ng LLM (tulad ng Flash…
- May dalawang parameter scale na base (149M) at large (395M),naisama na sa Hugging Face…
- 0,at maaaring direktang gamitin bilang plug-and-play na kapalit ng BERT-class models,angkop para…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- Answer.AI 官方研发博客(RSS)
- Kategorya
- Paglabas ng modelo
- AI na marka
- 82
这是六年来首个真正意义上对 BERT 架构的重大升级,解决了长上下文限制并提升了效率,对依赖编码器的 RAG 和搜索系统开发者具有直接的生产力价值。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Inilabas ng Answer.AI ang ModernBERT: bagong henerasyong encoder model na kapalit ng BERT. 19 Disyembre 2024. https://new.nat6.net/fil/news/f9k3aucnsfxp6dv9j3qfq6pd3/