Статьи и исследования

Answer.AI выпустила ReadBench: выявлено заметное падение качества VLM при чтении длинных текстов на изображениях

Оригинальный заголовок:TIL: Vision-Language Models Read Worse (or Better) Than You Think

ИИ-резюме

Answer.AI представила новый бенчмарк ReadBench для оценки способности визуально-языковых моделей (VLM) извлекать текстовую информацию с изображений и рассуждать о ней. Исследование показало: хотя высокое разрешение слабо влияет на генеративные задачи, почти все VLM заметно теряют качество при обработке многостраничных длинных документов-изображений, что говорит о неготовности текущих решений Visual RAG к длинному контексту. На этом фоне GPT-4o относительно лучше справляется с коротким контекстом и многостраничными сценариями, а общее падение качества у него меньше. Бенчмарк открыт и включает оцифрованные версии датасетов MMLU, GPQA и других.

Ключевые моменты

  • Answer.
  • AI представила новый бенчмарк ReadBench для оценки способности визуально-языковых моделей (VLM)…
  • Исследование показало: хотя высокое разрешение слабо влияет на генеративные задачи,почти все VLM…
  • На этом фоне GPT-4o относительно лучше справляется с коротким контекстом и многостраничными…
  • Бенчмарк открыт и включает оцифрованные версии датасетов MMLU,GPQA и других.

Кратко

Опубликовано
Обновлено
Источник
Answer.AI 官方研发博客(RSS)
Категория
Статьи и исследования
Оценка ИИ
78
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

针对热门的多模态检索增强生成(Visual RAG)场景提供了关键实证数据,揭示了 VLM 在长文档阅读上的实际瓶颈,为开发者选择模型和优化管道提供重要参考。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Answer.AI выпустила ReadBench: выявлено заметное падение качества VLM при чтении длинных текстов на изображениях. 5 июня 2025. https://new.nat6.net/ru/news/nqiq403r0cs6cekuujaxe5n7b/

Смотреть все →