モデル公開

BaiduがUnlimited OCRを発表:3BパラメータのMoEモデル、KVキャッシュを一定に保ち長文書を効率的に解析

原題:Baidu Releases Unlimited OCR, a 3B Model That Keeps the KV Cache Flat for Long-Document Parsing

AI 要約

BaiduはUnlimited OCRを発表した。3BパラメータのMoEモデルで、推論時に500Mパラメータのみを活性化する。中核的な革新であるReference Sliding Window Attention(R-SWA)はKVキャッシュのサイズをLm + n(nはデフォルト128)に固定し、メモリとレイテンシが出力長に応じて増加しない。モデルはDeepSeek OCRをベースに4000ステップ追加トレーニングされ、最大32K長をサポートし、DeepEncoderにより16倍のトークン圧縮を実現する。OmniDocBench v1.5で総合スコア93.23を記録し、DeepSeek OCRベースラインを6.22ポイント上回った。v1.6では93.92で最高スコア。Baseモードのスループットは5580 TPSに達し、DeepSeek OCRより12.7%向上、6000トークン出力時のレイテンシは35%低い。書籍全体の転写などのシーンに適しており、コードと重みはHuggingFaceでオープンソース化されている。

要点

  • BaiduはUnlimited OCRを発表した。
  • 3BパラメータのMoEモデルで、推論時に500Mパラメータのみを活性化する。
  • 中核的な革新であるReference Sliding Window Attention(R-SWA)はKVキャッシュのサイズをLm + n(nはデフォルト128)に固定し、メモリとレイテンシが出力長…
  • モデルはDeepSeek OCRをベースに4000ステップ追加トレーニングされ、最大32K長をサポートし、DeepEncoderにより16倍のトークン圧縮を実現する。
  • OmniDocBench v1.

概要

公開日時
更新日時
出典
MarkTechPost(RSS)
カテゴリ
モデル公開
AI スコア
73
原文を読む 情報源で全文を読む
おすすめの理由

Baidu这个OCR模型用R-SWA把KV缓存压成常量,长文档解析终于不用越跑越慢了。MIT开源,3B总参但推理只消500M,做文档管线的可以直接接。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:BaiduがUnlimited OCRを発表:3BパラメータのMoEモデル、KVキャッシュを一定に保ち長文書を効率的に解析。2026年6月25日。https://new.nat6.net/ja/news/cmqt3kfx30024sl0ev7aty5q7/

すべて見る →