Artículos e investigación

Estudio sobre la robustez y la coherencia de la cadena de pensamiento en el ajuste fino por RL de VLM

Título original:On Robustness and Chain-of-Thought Consistency of RL-Finetuned VLMs

Resumen de IA

El ajuste fino mediante aprendizaje por refuerzo (RL) se ha extendido a los modelos de visión y lenguaje (VLM). El estudio halla que perturbaciones textuales simples —titulares engañosos o cadenas de pensamiento (CoT) erróneas— reducen notablemente la robustez y la confianza del modelo, con un deterioro más acusado en los modelos de código abierto. Los modelos cerrados presentan patrones de fallo similares, pero mayor robustez y coherencia de razonamiento. Un análisis adicional revela un compromiso entre precisión y fidelidad: el ajuste fino mejora la precisión de referencia, pero erosiona la fiabilidad de la CoT y la robustez ante cambios de contexto; el refuerzo adversarial mejora la robustez, pero no evita la deriva de fidelidad. Introducir recompensas sensibles a la fidelidad recupera la alineación entre respuesta y razonamiento, pero al combinarse con el refuerzo el entrenamiento colapsa fácilmente hacia estrategias de atajo. Estos hallazgos subrayan la necesidad de atender conjuntamente a la corrección, la robustez y la fidelidad del razonamiento visual.

Puntos clave

  • El ajuste fino mediante aprendizaje por refuerzo (RL) se ha extendido a los modelos de visión y…
  • El estudio halla que perturbaciones textuales simples —titulares engañosos o cadenas de…
  • Los modelos cerrados presentan patrones de fallo similares,pero mayor robustez y coherencia de…
  • Un análisis adicional revela un compromiso entre precisión y fidelidad: el ajuste fino mejora la…
  • el refuerzo adversarial mejora la robustez,pero no evita la deriva de fidelidad.

Resumen rápido

Publicado
Actualizado
Fuente
Apple Machine Learning Research(RSS)
Categoría
Artículos e investigación
Puntuación IA
62
Leer el original Leer el artículo completo en la fuente original
Por qué importa

RL微调让VLM基准分变好看,却可能让它的推理链变得靠不住,这个反直觉的诊断对正在用RL打磨多模态模型的团队是个警醒。

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Estudio sobre la robustez y la coherencia de la cadena de pensamiento en el ajuste fino por RL de VLM. 2. julio 2026. https://new.nat6.net/es/news/cmr3rd0l901bwsl7ld54ejrgb/

Ver todo →