BaiduがUnlimited OCRを発表:3BパラメータのMoEモデル、KVキャッシュを一定に保ち長文書を効率的に解析
原題:Baidu Releases Unlimited OCR, a 3B Model That Keeps the KV Cache Flat for Long-Document Parsing
AI 要約
BaiduはUnlimited OCRを発表した。3BパラメータのMoEモデルで、推論時に500Mパラメータのみを活性化する。中核的な革新であるReference Sliding Window Attention(R-SWA)はKVキャッシュのサイズをLm + n(nはデフォルト128)に固定し、メモリとレイテンシが出力長に応じて増加しない。モデルはDeepSeek OCRをベースに4000ステップ追加トレーニングされ、最大32K長をサポートし、DeepEncoderにより16倍のトークン圧縮を実現する。OmniDocBench v1.5で総合スコア93.23を記録し、DeepSeek OCRベースラインを6.22ポイント上回った。v1.6では93.92で最高スコア。Baseモードのスループットは5580 TPSに達し、DeepSeek OCRより12.7%向上、6000トークン出力時のレイテンシは35%低い。書籍全体の転写などのシーンに適しており、コードと重みはHuggingFaceでオープンソース化されている。
要点
- BaiduはUnlimited OCRを発表した。
- 3BパラメータのMoEモデルで、推論時に500Mパラメータのみを活性化する。
- 中核的な革新であるReference Sliding Window Attention(R-SWA)はKVキャッシュのサイズをLm + n(nはデフォルト128)に固定し、メモリとレイテンシが出力長…
- モデルはDeepSeek OCRをベースに4000ステップ追加トレーニングされ、最大32K長をサポートし、DeepEncoderにより16倍のトークン圧縮を実現する。
- OmniDocBench v1.
概要
- 公開日時
- 更新日時
- カテゴリ
- モデル公開
- AI スコア
- 73
Baidu这个OCR模型用R-SWA把KV缓存压成常量,长文档解析终于不用越跑越慢了。MIT开源,3B总参但推理只消500M,做文档管线的可以直接接。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:BaiduがUnlimited OCRを発表:3BパラメータのMoEモデル、KVキャッシュを一定に保ち長文書を効率的に解析。2026年6月25日。https://new.nat6.net/ja/news/cmqt3kfx30024sl0ev7aty5q7/