Pelancaran Model

Answer.AI melancarkan ModernBERT: model pengekod generasi baharu pengganti BERT

Tajuk asal:Finally, a Replacement for BERT: Introducing ModernBERT

Ringkasan AI

Answer.AI dan LightOn bersama-sama melancarkan ModernBERT, siri model pengekod SOTA yang bertujuan menggantikan BERT. Model ini menggunakan penambahbaikan seni bina terkini LLM (seperti Flash Attention dan RoPE) pada pengekod, menyokong panjang konteks 8192 token (jauh melebihi 512 token BERT tradisional), dan mengatasi model generasi lama sepenuhnya dari segi kelajuan dan prestasi tugas hiliran. Ia ditawarkan dalam dua saiz parameter, base (149M) dan large (395M), telah disepadukan ke dalam Hugging Face Transformers v4.48.0, dan boleh digunakan terus sebagai pengganti plug-and-play untuk model jenis BERT dalam senario RAG, pengelasan dan capaian kod.

Maklumat penting

  • Answer.
  • AI dan LightOn bersama-sama melancarkan ModernBERT,siri model pengekod SOTA yang bertujuan…
  • Model ini menggunakan penambahbaikan seni bina terkini LLM (seperti Flash Attention dan RoPE) pada…
  • Ia ditawarkan dalam dua saiz parameter,base (149M) dan large (395M),telah disepadukan ke dalam…
  • 0,dan boleh digunakan terus sebagai pengganti plug-and-play untuk model jenis BERT dalam senario…

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
Answer.AI 官方研发博客(RSS)
Kategori
Pelancaran Model
Skor AI
82
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

这是六年来首个真正意义上对 BERT 架构的重大升级,解决了长上下文限制并提升了效率,对依赖编码器的 RAG 和搜索系统开发者具有直接的生产力价值。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Answer.AI melancarkan ModernBERT: model pengekod generasi baharu pengganti BERT. 19 Disember 2024. https://new.nat6.net/ms/news/f9k3aucnsfxp6dv9j3qfq6pd3/

Lihat Semua →