Статьи и исследования

Moonshot AI выпустила PerceptionBench: диагностический бенчмарк визуального восприятия мультимодальных моделей

Оригинальный заголовок:PerceptionBench

ИИ-резюме

Moonshot AI выпустила PerceptionBench — бенчмарк визуального восприятия, составленный на основе реальных случаев ошибок моделей из более чем 40 существующих бенчмарков и включающий 10 атомарных перцептивных способностей и 3000 проверочных вопросов. Точность всех протестированных моделей не превысила 60%, а многие правильные ответы не воспроизводились при повторных вопросах, что указывает на то, что модели чаще угадывают, а не действительно воспринимают. PerceptionBench призван точно диагностировать точки разрыва визуального восприятия мультимодального AI и способствовать достижению достоверного и согласованного визуального понимания.

Ключевые моменты

  • Moonshot AI выпустила PerceptionBench — бенчмарк визуального восприятия,составленный на основе…
  • Точность всех протестированных моделей не превысила 60%,а многие правильные ответы не…
  • PerceptionBench призван точно диагностировать точки разрыва визуального восприятия…

Кратко

Опубликовано
Обновлено
Источник
Moonshot AI:Kimi Blog
Категория
Статьи и исследования
Оценка ИИ
70
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

这是一个把视觉感知拆成原子能力的基准,所有模型不及格,而且猜测多于感知的发现很扎心,做多模态的团队应该拿来测一下自家模型。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Moonshot AI выпустила PerceptionBench: диагностический бенчмарк визуального восприятия мультимодальных моделей. 16 июля 2026. https://new.nat6.net/ru/news/cmrnvwztt01bebixyznbje716/

Смотреть все →