Articles et recherche

Étude sur la robustesse et la cohérence des chaînes de pensée des VLM affinés par RL

Titre original:On Robustness and Chain-of-Thought Consistency of RL-Finetuned VLMs

Résumé IA

Le micro-ajustement par apprentissage par renforcement (RL) est étendu aux modèles vision-langage (VLM). L'étude révèle que de simples perturbations textuelles — titres trompeurs ou chaînes de pensée (CoT) erronées — réduisent significativement la robustesse et la confiance des modèles, la dégradation étant plus marquée pour les modèles open source. Les modèles propriétaires présentent des modes d'échec similaires, mais une meilleure robustesse et cohérence de raisonnement. Une analyse plus poussée révèle un arbitrage entre exactitude et fidélité : le micro-ajustement améliore l'exactitude de référence mais érode la fiabilité des CoT et la robustesse aux variations de contexte ; le renforcement adversarial améliore la robustesse sans empêcher la dérive de fidélité. L'introduction d'une récompense sensible à la fidélité restaure l'alignement entre réponses et raisonnement, mais combinée au renforcement, l'entraînement s'effondre facilement vers des stratégies de raccourci. Ces résultats soulignent la nécessité de considérer conjointement exactitude, robustesse et fidélité du raisonnement visuel.

Points clés

  • Le micro-ajustement par apprentissage par renforcement (RL) est étendu aux modèles vision-langage…
  • L'étude révèle que de simples perturbations textuelles — titres trompeurs ou chaînes de pensée…
  • Les modèles propriétaires présentent des modes d'échec similaires,mais une meilleure robustesse et…
  • Une analyse plus poussée révèle un arbitrage entre exactitude et fidélité: le micro-ajustement…
  • le renforcement adversarial améliore la robustesse sans empêcher la dérive de fidélité.

En bref

Publié
Mis à jour
Source
Apple Machine Learning Research(RSS)
Catégorie
Articles et recherche
Score IA
62
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

RL微调让VLM基准分变好看,却可能让它的推理链变得靠不住,这个反直觉的诊断对正在用RL打磨多模态模型的团队是个警醒。

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Étude sur la robustesse et la cohérence des chaînes de pensée des VLM affinés par RL. 2. juillet 2026. https://new.nat6.net/fr/news/cmr3rd0l901bwsl7ld54ejrgb/

Tout voir →