Baidu Melancarkan Unlimited OCR: Model MoE 3B Parameter, Cache KV Malar untuk Penghuraian Dokumen Panjang Cekap
Tajuk asal:Baidu Releases Unlimited OCR, a 3B Model That Keeps the KV Cache Flat for Long-Document Parsing
Ringkasan AI
Baidu melancarkan Unlimited OCR, model MoE 3B parameter yang hanya mengaktifkan 500M parameter semasa inferens. Inovasi terasnya Reference Sliding Window Attention (R-SWA) menetapkan saiz cache KV kepada Lm + n (n lalai 128), menjadikan memori dan kependaman tidak bertambah dengan panjang output. Model ini diteruskan latihan selama 4000 langkah berdasarkan DeepSeek OCR, menyokong panjang maksimum 32K, dan mencapai pemampatan token 16 kali melalui DeepEncoder. Pada OmniDocBench v1.5, skor keseluruhan ialah 93.23, melebihi garis dasar DeepSeek OCR sebanyak 6.22 mata; skor v1.6 ialah 93.92, tertinggi. Dalam mod Base, daya pemprosesan mencapai 5580 TPS, peningkatan 12.7% berbanding DeepSeek OCR, dengan kependaman 35% lebih rendah pada output 6000 token. Sesuai untuk senario seperti transkripsi seluruh buku, kod dan pemberat telah dikeluarkan secara sumber terbuka di HuggingFace.
Maklumat penting
- Baidu melancarkan Unlimited OCR,model MoE 3B parameter yang hanya mengaktifkan 500M parameter…
- Inovasi terasnya Reference Sliding Window Attention (R-SWA) menetapkan saiz cache KV kepada Lm + n…
- Model ini diteruskan latihan selama 4000 langkah berdasarkan DeepSeek OCR,menyokong panjang…
- Pada OmniDocBench v1.
- 5,skor keseluruhan ialah 93.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- MarkTechPost(RSS)
- Kategori
- Pelancaran Model
- Skor AI
- 73
Baidu这个OCR模型用R-SWA把KV缓存压成常量,长文档解析终于不用越跑越慢了。MIT开源,3B总参但推理只消500M,做文档管线的可以直接接。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Baidu Melancarkan Unlimited OCR: Model MoE 3B Parameter, Cache KV Malar untuk Penghuraian Dokumen Panjang Cekap. 25 Jun 2026. https://new.nat6.net/ms/news/cmqt3kfx30024sl0ev7aty5q7/