Sorties de modèles

Baidu lance Unlimited OCR : un modèle MoE de 3B paramètres à cache KV constant pour l'analyse efficace de longs documents

Titre original:Baidu Releases Unlimited OCR, a 3B Model That Keeps the KV Cache Flat for Long-Document Parsing

Résumé IA

Baidu lance Unlimited OCR, un modèle MoE de 3B paramètres qui n'active que 500M paramètres à l'inférence. Son innovation centrale, Reference Sliding Window Attention (R-SWA), fixe la taille du cache KV à Lm + n (n valant 128 par défaut), la mémoire et la latence ne croissant plus avec la longueur de sortie. Le modèle poursuit l'entraînement de DeepSeek OCR pendant 4000 étapes, prend en charge une longueur maximale de 32K et compresse les tokens 16 fois via DeepEncoder. Il obtient 93,23 sur OmniDocBench v1.5, soit 6,22 points de plus que la base DeepSeek OCR ; son score de 93,92 sur v1.6 est le meilleur. En mode Base, le débit atteint 5580 TPS, soit 12,7 % de plus que DeepSeek OCR, avec une latence inférieure de 35 % pour une sortie de 6000 tokens. Adapté à la transcription de livres entiers, le code et les poids sont open source sur HuggingFace.

Points clés

  • Baidu lance Unlimited OCR,un modèle MoE de 3B paramètres qui n'active que 500M paramètres à…
  • Son innovation centrale,Reference Sliding Window Attention (R-SWA),fixe la taille du cache KV à Lm…
  • Le modèle poursuit l'entraînement de DeepSeek OCR pendant 4000 étapes,prend en charge une longueur…
  • Il obtient 93,23 sur OmniDocBench v1.
  • 5,soit 6,22 points de plus que la base DeepSeek OCR

En bref

Publié
Mis à jour
Source
MarkTechPost(RSS)
Catégorie
Sorties de modèles
Score IA
73
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

Baidu这个OCR模型用R-SWA把KV缓存压成常量,长文档解析终于不用越跑越慢了。MIT开源,3B总参但推理只消500M,做文档管线的可以直接接。

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Baidu lance Unlimited OCR : un modèle MoE de 3B paramètres à cache KV constant pour l'analyse efficace de longs documents. 25. juin 2026. https://new.nat6.net/fr/news/cmqt3kfx30024sl0ev7aty5q7/

Tout voir →