Статьи и исследования

Исследование устойчивости и согласованности цепочки рассуждений при RL-дообучении VLM

Оригинальный заголовок:On Robustness and Chain-of-Thought Consistency of RL-Finetuned VLMs

ИИ-резюме

Дообучение с подкреплением (RL) расширено на визуально-языковые модели (VLM). Исследование показало, что простые текстовые возмущения — вводящие в заблуждение заголовки или ошибочные цепочки рассуждений (CoT) — значительно снижают устойчивость и уверенность моделей, причём у моделей с открытым исходным кодом деградация выражена сильнее. Закрытые модели демонстрируют схожие режимы отказа, но обладают большей устойчивостью и согласованностью рассуждений. Дальнейший анализ выявляет компромисс между точностью и верностью: дообучение повышает базовую точность, но одновременно подрывает надёжность CoT и устойчивость к изменениям контекста; состязательное усиление улучшает устойчивость, но не предотвращает дрейф верности. Введение награды с учётом верности восстанавливает согласование ответов и рассуждений, однако в сочетании с усилением обучение легко коллапсирует к стратегиям-ярлыкам. Эти выводы подчёркивают необходимость совместного учёта корректности, устойчивости и верности визуальных рассуждений.

Ключевые моменты

  • Дообучение с подкреплением (RL) расширено на визуально-языковые модели (VLM).
  • Исследование показало,что простые текстовые возмущения — вводящие в заблуждение заголовки или…
  • Закрытые модели демонстрируют схожие режимы отказа,но обладают большей устойчивостью и…
  • Дальнейший анализ выявляет компромисс между точностью и верностью: дообучение повышает базовую…
  • состязательное усиление улучшает устойчивость,но не предотвращает дрейф верности.

Кратко

Опубликовано
Обновлено
Источник
Apple Machine Learning Research(RSS)
Категория
Статьи и исследования
Оценка ИИ
62
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

RL微调让VLM基准分变好看,却可能让它的推理链变得靠不住,这个反直觉的诊断对正在用RL打磨多模态模型的团队是个警醒。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Исследование устойчивости и согласованности цепочки рассуждений при RL-дообучении VLM. 2 июля 2026. https://new.nat6.net/ru/news/cmr3rd0l901bwsl7ld54ejrgb/

Смотреть все →