论文与研究

RL微调VLM的鲁棒性与思维链一致性研究

原文标题:On Robustness and Chain-of-Thought Consistency of RL-Finetuned VLMs

AI 摘要

强化学习(RL)微调被扩展至视觉语言模型(VLM)。研究发现,简单的文本扰动——误导性标题或错误思维链(CoT)——会显著降低模型鲁棒性和置信度,且开源模型衰退更明显。闭源模型呈现类似失败模式,但鲁棒性和推理一致性更强。进一步分析揭示准确性与忠实性的权衡:微调提升基准准确率,但同时侵蚀CoT的可靠性及对上下文变化的鲁棒性;对抗性增强可改善鲁棒性,却无法阻止忠实性漂移。引入忠实性感知奖励能恢复答案与推理的对齐,但与增强结合时训练易崩溃到捷径策略。这些发现强调需联合关注正确性、鲁棒性与视觉推理的忠实性。

关键信息

  • 强化学习(RL)微调被扩展至视觉语言模型(VLM)。
  • 研究发现,简单的文本扰动——误导性标题或错误思维链(CoT)——会显著降低模型鲁棒性和置信度,且开源模型衰退更明显。
  • 闭源模型呈现类似失败模式,但鲁棒性和推理一致性更强。
  • 进一步分析揭示准确性与忠实性的权衡:微调提升基准准确率,但同时侵蚀CoT的可靠性及对上下文变化的鲁棒性
  • 对抗性增强可改善鲁棒性,却无法阻止忠实性漂移。

速览

发布时间
更新时间
来源
Apple Machine Learning Research(RSS)
分类
论文与研究
AI 评分
62
阅读原文 前往信息源阅读完整正文
推荐理由

RL微调让VLM基准分变好看,却可能让它的推理链变得靠不住,这个反直觉的诊断对正在用RL打磨多模态模型的团队是个警醒。

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:RL微调VLM的鲁棒性与思维链一致性研究。2026年7月2日。https://new.nat6.net/news/cmr3rd0l901bwsl7ld54ejrgb/

查看全部 →