모델 출시

Answer.AI, BERT 대체할 차세대 인코더 모델 ModernBERT 공개

원제목:Finally, a Replacement for BERT: Introducing ModernBERT

AI 요약

Answer.AI와 LightOn이 BERT를 대체하기 위한 SOTA 인코더 모델 시리즈 ModernBERT를 공동 공개했다. 이 모델은 Flash Attention, RoPE 등 LLM의 최신 아키텍처 개선을 인코더에 적용했으며 8192 token 컨텍스트 길이를 지원해 기존 BERT의 512를 크게 넘어선다. 속도와 다운스트림 작업 성능 모두에서 구세대 모델을 능가한다. base(149M)와 large(395M) 두 파라미터 규모로 제공되며 Hugging Face Transformers v4.48.0에 통합되어 BERT류 모델의 즉시 대체품으로 RAG, 분류, 코드 검색 등에 활용할 수 있다.

핵심 정보

  • Answer.
  • AI와 LightOn이 BERT를 대체하기 위한 SOTA 인코더 모델 시리즈 ModernBERT를 공동 공개했다.
  • 이 모델은 Flash Attention,RoPE 등 LLM의 최신 아키텍처 개선을 인코더에 적용했으며 8192 token 컨텍스트 길이를 지원해 기존 BERT의 512를 크게…
  • 속도와 다운스트림 작업 성능 모두에서 구세대 모델을 능가한다.
  • base(149M)와 large(395M) 두 파라미터 규모로 제공되며 Hugging Face Transformers v4.

한눈에 보기

게시
업데이트
출처
Answer.AI 官方研发博客(RSS)
카테고리
모델 출시
AI 점수
82
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

这是六年来首个真正意义上对 BERT 架构的重大升级,解决了长上下文限制并提升了效率,对依赖编码器的 RAG 和搜索系统开发者具有直接的生产力价值。

관련 엔티티

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: Answer.AI, BERT 대체할 차세대 인코더 모델 ModernBERT 공개. 2024년 12월 19일. https://new.nat6.net/ko/news/f9k3aucnsfxp6dv9j3qfq6pd3/

전체 보기 →