Релизы моделей

Baidu выпустила Unlimited OCR: MoE-модель на 3B параметров с постоянным KV-кэшем для эффективного разбора длинных документов

Оригинальный заголовок:Baidu Releases Unlimited OCR, a 3B Model That Keeps the KV Cache Flat for Long-Document Parsing

ИИ-резюме

Baidu представила Unlimited OCR — MoE-модель на 3B параметров, активирующую при инференсе лишь 500M параметров. Ключевое новшество Reference Sliding Window Attention (R-SWA) фиксирует размер KV-кэша на уровне Lm + n (n по умолчанию 128), поэтому память и задержка не растут с длиной вывода. Модель дообучена на основе DeepSeek OCR за 4000 шагов, поддерживает максимальную длину 32K и обеспечивает 16-кратное сжатие токенов через DeepEncoder. На OmniDocBench v1.5 общий балл составил 93,23, что на 6,22 балла выше базовой линии DeepSeek OCR; на v1.6 балл 93,92 — наивысший. В режиме Base пропускная способность достигает 5580 TPS, на 12,7% выше DeepSeek OCR, а при выводе 6000 токенов задержка ниже на 35%. Подходит для задач вроде транскрипции целых книг; код и веса открыты на HuggingFace.

Ключевые моменты

  • Baidu представила Unlimited OCR — MoE-модель на 3B параметров,активирующую при инференсе лишь 500M…
  • Ключевое новшество Reference Sliding Window Attention (R-SWA) фиксирует размер KV-кэша на уровне…
  • Модель дообучена на основе DeepSeek OCR за 4000 шагов,поддерживает максимальную длину 32K и…
  • На OmniDocBench v1.
  • 5 общий балл составил 93,23,что на 6,22 балла выше базовой линии DeepSeek OCR

Кратко

Опубликовано
Обновлено
Источник
MarkTechPost(RSS)
Категория
Релизы моделей
Оценка ИИ
73
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

Baidu这个OCR模型用R-SWA把KV缓存压成常量,长文档解析终于不用越跑越慢了。MIT开源,3B总参但推理只消500M,做文档管线的可以直接接。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Baidu выпустила Unlimited OCR: MoE-модель на 3B параметров с постоянным KV-кэшем для эффективного разбора длинных документов. 25 июня 2026. https://new.nat6.net/ru/news/cmqt3kfx30024sl0ev7aty5q7/

Смотреть все →