Paglabas ng modelo

Inilabas ng Answer.AI ang ModernBERT: bagong henerasyong encoder model na kapalit ng BERT

Orihinal na pamagat:Finally, a Replacement for BERT: Introducing ModernBERT

AI summary

Magkasamang inilabas ng Answer.AI at LightOn ang ModernBERT, isang serye ng SOTA encoder model na naglalayong palitan ang BERT. Inilalapat ng modelong ito ang mga pinakabagong architectural improvement ng LLM (tulad ng Flash Attention at RoPE) sa encoder, sumusuporta sa 8192 token context length (malayo sa 512 ng tradisyonal na BERT), at lubusang nalampasan ang lumang henerasyon ng mga modelo sa bilis at performance sa downstream tasks. May dalawang parameter scale na base (149M) at large (395M), naisama na sa Hugging Face Transformers v4.48.0, at maaaring direktang gamitin bilang plug-and-play na kapalit ng BERT-class models, angkop para sa RAG, classification at code retrieval at iba pang scenario.

Mahahalagang impormasyon

  • Magkasamang inilabas ng Answer.
  • AI at LightOn ang ModernBERT,isang serye ng SOTA encoder model na naglalayong palitan ang BERT.
  • Inilalapat ng modelong ito ang mga pinakabagong architectural improvement ng LLM (tulad ng Flash…
  • May dalawang parameter scale na base (149M) at large (395M),naisama na sa Hugging Face…
  • 0,at maaaring direktang gamitin bilang plug-and-play na kapalit ng BERT-class models,angkop para…

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
Answer.AI 官方研发博客(RSS)
Kategorya
Paglabas ng modelo
AI na marka
82
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

这是六年来首个真正意义上对 BERT 架构的重大升级,解决了长上下文限制并提升了效率,对依赖编码器的 RAG 和搜索系统开发者具有直接的生产力价值。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Inilabas ng Answer.AI ang ModernBERT: bagong henerasyong encoder model na kapalit ng BERT. 19 Disyembre 2024. https://new.nat6.net/fil/news/f9k3aucnsfxp6dv9j3qfq6pd3/

Tingnan lahat →