바이두, Unlimited OCR 공개: 3B 파라미터 MoE 모델, KV 캐시 일정하게 유지해 장문 문서 효율적 분석
원제목:Baidu Releases Unlimited OCR, a 3B Model That Keeps the KV Cache Flat for Long-Document Parsing
AI 요약
바이두가 3B 파라미터 MoE 모델인 Unlimited OCR을 출시했다. 추론 시 500M 파라미터만 활성화된다. 핵심 혁신인 Reference Sliding Window Attention(R-SWA)은 KV 캐시 크기를 Lm + n(n 기본값 128)으로 고정해 메모리와 지연이 출력 길이에 따라 늘지 않게 한다. 모델은 DeepSeek OCR을 기반으로 4000스텝 추가 훈련됐고 최대 32K 길이를 지원하며 DeepEncoder를 통해 16배 토큰 압축을 구현한다. OmniDocBench v1.5에서 종합 점수 93.23으로 DeepSeek OCR 기준선을 6.22점 초과했고 v1.6에서는 93.92로 최고점을 기록했다. Base 모드 처리량은 5580 TPS로 DeepSeek OCR보다 12.7% 높고 6000 토큰 출력 시 지연은 35% 낮다. 책 전체 전사 등에 적합하며 코드와 가중치는 HuggingFace에 오픈소스로 공개됐다.
핵심 정보
- 바이두가 3B 파라미터 MoE 모델인 Unlimited OCR을 출시했다.
- 추론 시 500M 파라미터만 활성화된다.
- 핵심 혁신인 Reference Sliding Window Attention(R-SWA)은 KV 캐시 크기를 Lm + n(n 기본값 128)으로 고정해 메모리와 지연이 출력…
- 모델은 DeepSeek OCR을 기반으로 4000스텝 추가 훈련됐고 최대 32K 길이를 지원하며 DeepEncoder를 통해 16배 토큰 압축을 구현한다.
- OmniDocBench v1.
한눈에 보기
- 게시
- 업데이트
- 카테고리
- 모델 출시
- AI 점수
- 73
Baidu这个OCR模型用R-SWA把KV缓存压成常量,长文档解析终于不用越跑越慢了。MIT开源,3B总参但推理只消500M,做文档管线的可以直接接。
관련 엔티티
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: 바이두, Unlimited OCR 공개: 3B 파라미터 MoE 모델, KV 캐시 일정하게 유지해 장문 문서 효율적 분석. 2026년 6월 25일. https://new.nat6.net/ko/news/cmqt3kfx30024sl0ev7aty5q7/