Baidu выпустила Unlimited OCR: MoE-модель на 3B параметров с постоянным KV-кэшем для эффективного разбора длинных документов
Оригинальный заголовок:Baidu Releases Unlimited OCR, a 3B Model That Keeps the KV Cache Flat for Long-Document Parsing
ИИ-резюме
Baidu представила Unlimited OCR — MoE-модель на 3B параметров, активирующую при инференсе лишь 500M параметров. Ключевое новшество Reference Sliding Window Attention (R-SWA) фиксирует размер KV-кэша на уровне Lm + n (n по умолчанию 128), поэтому память и задержка не растут с длиной вывода. Модель дообучена на основе DeepSeek OCR за 4000 шагов, поддерживает максимальную длину 32K и обеспечивает 16-кратное сжатие токенов через DeepEncoder. На OmniDocBench v1.5 общий балл составил 93,23, что на 6,22 балла выше базовой линии DeepSeek OCR; на v1.6 балл 93,92 — наивысший. В режиме Base пропускная способность достигает 5580 TPS, на 12,7% выше DeepSeek OCR, а при выводе 6000 токенов задержка ниже на 35%. Подходит для задач вроде транскрипции целых книг; код и веса открыты на HuggingFace.
Ключевые моменты
- Baidu представила Unlimited OCR — MoE-модель на 3B параметров,активирующую при инференсе лишь 500M…
- Ключевое новшество Reference Sliding Window Attention (R-SWA) фиксирует размер KV-кэша на уровне…
- Модель дообучена на основе DeepSeek OCR за 4000 шагов,поддерживает максимальную длину 32K и…
- На OmniDocBench v1.
- 5 общий балл составил 93,23,что на 6,22 балла выше базовой линии DeepSeek OCR
Кратко
- Опубликовано
- Обновлено
- Источник
- MarkTechPost(RSS)
- Категория
- Релизы моделей
- Оценка ИИ
- 73
Baidu这个OCR模型用R-SWA把KV缓存压成常量,长文档解析终于不用越跑越慢了。MIT开源,3B总参但推理只消500M,做文档管线的可以直接接。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Baidu выпустила Unlimited OCR: MoE-модель на 3B параметров с постоянным KV-кэшем для эффективного разбора длинных документов. 25 июня 2026. https://new.nat6.net/ru/news/cmqt3kfx30024sl0ev7aty5q7/