Answer.AI выпустила ReadBench: выявлено заметное падение качества VLM при чтении длинных текстов на изображениях
Оригинальный заголовок:TIL: Vision-Language Models Read Worse (or Better) Than You Think
ИИ-резюме
Answer.AI представила новый бенчмарк ReadBench для оценки способности визуально-языковых моделей (VLM) извлекать текстовую информацию с изображений и рассуждать о ней. Исследование показало: хотя высокое разрешение слабо влияет на генеративные задачи, почти все VLM заметно теряют качество при обработке многостраничных длинных документов-изображений, что говорит о неготовности текущих решений Visual RAG к длинному контексту. На этом фоне GPT-4o относительно лучше справляется с коротким контекстом и многостраничными сценариями, а общее падение качества у него меньше. Бенчмарк открыт и включает оцифрованные версии датасетов MMLU, GPQA и других.
Ключевые моменты
- Answer.
- AI представила новый бенчмарк ReadBench для оценки способности визуально-языковых моделей (VLM)…
- Исследование показало: хотя высокое разрешение слабо влияет на генеративные задачи,почти все VLM…
- На этом фоне GPT-4o относительно лучше справляется с коротким контекстом и многостраничными…
- Бенчмарк открыт и включает оцифрованные версии датасетов MMLU,GPQA и других.
Кратко
- Опубликовано
- Обновлено
- Источник
- Answer.AI 官方研发博客(RSS)
- Категория
- Статьи и исследования
- Оценка ИИ
- 78
针对热门的多模态检索增强生成(Visual RAG)场景提供了关键实证数据,揭示了 VLM 在长文档阅读上的实际瓶颈,为开发者选择模型和优化管道提供重要参考。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Answer.AI выпустила ReadBench: выявлено заметное падение качества VLM при чтении длинных текстов на изображениях. 5 июня 2025. https://new.nat6.net/ru/news/nqiq403r0cs6cekuujaxe5n7b/