Mga Papel at Pananaliksik

Inilabas ng Answer.AI ang ReadBench: inilalantad ang malaking pagbaba ng performance ng vision language models sa pagbasa ng mahabang tekstong larawan

Orihinal na pamagat:TIL: Vision-Language Models Read Worse (or Better) Than You Think

AI summary

Inilunsad ng Answer.AI ang bagong benchmark na ReadBench, na espesyal na nagtatasa sa kakayahan ng vision language models (VLM) na kunin at mag-reason sa tekstong impormasyon mula sa mga larawan. Natuklasan ng pag-aaral na bagama't hindi malaki ang epekto ng high resolution sa generation tasks, halos lahat ng VLM ay nagpakita ng malaking pagbaba ng performance kapag humahawak ng multi-page long document images, na nagpapakita na hindi pa praktikal ang kasalukuyang Visual RAG solution sa paghawak ng long context. Sa kabaligtaran, ang GPT-4o ay medyo mas mahusay sa short context at multi-page scenarios, at mas maliit ang kabuuang pagbaba ng performance. Open-source na ang benchmark, na sumasaklaw sa image versions ng MMLU, GPQA at iba pang dataset.

Mahahalagang impormasyon

  • Inilunsad ng Answer.
  • AI ang bagong benchmark na ReadBench,na espesyal na nagtatasa sa kakayahan ng vision language…
  • Natuklasan ng pag-aaral na bagama't hindi malaki ang epekto ng high resolution sa generation…
  • Sa kabaligtaran,ang GPT-4o ay medyo mas mahusay sa short context at multi-page scenarios,at mas…
  • Open-source na ang benchmark,na sumasaklaw sa image versions ng MMLU,GPQA at iba pang dataset.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
Answer.AI 官方研发博客(RSS)
Kategorya
Mga Papel at Pananaliksik
AI na marka
78
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

针对热门的多模态检索增强生成(Visual RAG)场景提供了关键实证数据,揭示了 VLM 在长文档阅读上的实际瓶颈,为开发者选择模型和优化管道提供重要参考。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Inilabas ng Answer.AI ang ReadBench: inilalantad ang malaking pagbaba ng performance ng vision language models sa pagbasa ng mahabang tekstong larawan. 5 Hunyo 2025. https://new.nat6.net/fil/news/nqiq403r0cs6cekuujaxe5n7b/

Tingnan lahat →