Inilabas ng Answer.AI ang ReadBench: inilalantad ang malaking pagbaba ng performance ng vision language models sa pagbasa ng mahabang tekstong larawan
Orihinal na pamagat:TIL: Vision-Language Models Read Worse (or Better) Than You Think
AI summary
Inilunsad ng Answer.AI ang bagong benchmark na ReadBench, na espesyal na nagtatasa sa kakayahan ng vision language models (VLM) na kunin at mag-reason sa tekstong impormasyon mula sa mga larawan. Natuklasan ng pag-aaral na bagama't hindi malaki ang epekto ng high resolution sa generation tasks, halos lahat ng VLM ay nagpakita ng malaking pagbaba ng performance kapag humahawak ng multi-page long document images, na nagpapakita na hindi pa praktikal ang kasalukuyang Visual RAG solution sa paghawak ng long context. Sa kabaligtaran, ang GPT-4o ay medyo mas mahusay sa short context at multi-page scenarios, at mas maliit ang kabuuang pagbaba ng performance. Open-source na ang benchmark, na sumasaklaw sa image versions ng MMLU, GPQA at iba pang dataset.
Mahahalagang impormasyon
- Inilunsad ng Answer.
- AI ang bagong benchmark na ReadBench,na espesyal na nagtatasa sa kakayahan ng vision language…
- Natuklasan ng pag-aaral na bagama't hindi malaki ang epekto ng high resolution sa generation…
- Sa kabaligtaran,ang GPT-4o ay medyo mas mahusay sa short context at multi-page scenarios,at mas…
- Open-source na ang benchmark,na sumasaklaw sa image versions ng MMLU,GPQA at iba pang dataset.
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- Answer.AI 官方研发博客(RSS)
- Kategorya
- Mga Papel at Pananaliksik
- AI na marka
- 78
针对热门的多模态检索增强生成(Visual RAG)场景提供了关键实证数据,揭示了 VLM 在长文档阅读上的实际瓶颈,为开发者选择模型和优化管道提供重要参考。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Inilabas ng Answer.AI ang ReadBench: inilalantad ang malaking pagbaba ng performance ng vision language models sa pagbasa ng mahabang tekstong larawan. 5 Hunyo 2025. https://new.nat6.net/fil/news/nqiq403r0cs6cekuujaxe5n7b/