Estudio sobre la robustez y la coherencia de la cadena de pensamiento en el ajuste fino por RL de VLM
Título original:On Robustness and Chain-of-Thought Consistency of RL-Finetuned VLMs
Resumen de IA
El ajuste fino mediante aprendizaje por refuerzo (RL) se ha extendido a los modelos de visión y lenguaje (VLM). El estudio halla que perturbaciones textuales simples —titulares engañosos o cadenas de pensamiento (CoT) erróneas— reducen notablemente la robustez y la confianza del modelo, con un deterioro más acusado en los modelos de código abierto. Los modelos cerrados presentan patrones de fallo similares, pero mayor robustez y coherencia de razonamiento. Un análisis adicional revela un compromiso entre precisión y fidelidad: el ajuste fino mejora la precisión de referencia, pero erosiona la fiabilidad de la CoT y la robustez ante cambios de contexto; el refuerzo adversarial mejora la robustez, pero no evita la deriva de fidelidad. Introducir recompensas sensibles a la fidelidad recupera la alineación entre respuesta y razonamiento, pero al combinarse con el refuerzo el entrenamiento colapsa fácilmente hacia estrategias de atajo. Estos hallazgos subrayan la necesidad de atender conjuntamente a la corrección, la robustez y la fidelidad del razonamiento visual.
Puntos clave
- El ajuste fino mediante aprendizaje por refuerzo (RL) se ha extendido a los modelos de visión y…
- El estudio halla que perturbaciones textuales simples —titulares engañosos o cadenas de…
- Los modelos cerrados presentan patrones de fallo similares,pero mayor robustez y coherencia de…
- Un análisis adicional revela un compromiso entre precisión y fidelidad: el ajuste fino mejora la…
- el refuerzo adversarial mejora la robustez,pero no evita la deriva de fidelidad.
Resumen rápido
- Publicado
- Actualizado
- Categoría
- Artículos e investigación
- Puntuación IA
- 62
RL微调让VLM基准分变好看,却可能让它的推理链变得靠不住,这个反直觉的诊断对正在用RL打磨多模态模型的团队是个警醒。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Estudio sobre la robustez y la coherencia de la cadena de pensamiento en el ajuste fino por RL de VLM. 2. julio 2026. https://new.nat6.net/es/news/cmr3rd0l901bwsl7ld54ejrgb/