Pag-aaral sa robustness at chain-of-thought consistency ng RL fine-tuned VLM
Orihinal na pamagat:On Robustness and Chain-of-Thought Consistency of RL-Finetuned VLMs
AI summary
Ang reinforcement learning (RL) fine-tuning ay pinalawak sa vision-language model (VLM). Natuklasan ng pag-aaral na ang simpleng text perturbation—misleading title o maling chain-of-thought (CoT)—ay makabuluhang nagpapababa sa robustness at confidence ng modelo, at mas malinaw ang pagbaba sa open source model. Nagpapakita rin ng katulad na failure mode ang closed source model, ngunit mas malakas ang robustness at reasoning consistency. Ipinapakita ng karagdagang analysis ang trade-off sa pagitan ng accuracy at faithfulness: pinapabuti ng fine-tuning ang benchmark accuracy, ngunit sabay na inuubos ang reliability ng CoT at robustness sa context change; pinapabuti ng adversarial enhancement ang robustness, ngunit hindi mapipigilan ang faithfulness drift. Ang pagpapakilala ng faithfulness-aware reward ay nakakapagbalik ng alignment sa pagitan ng sagot at reasoning, ngunit kapag pinagsama sa enhancement, madaling mag-collapse ang training sa shortcut strategy. Binibigyang-diin ng mga natuklasang ito ang pangangailangan na sabay na bigyang-pansin ang correctness, robustness at faithfulness ng visual reasoning.
Mahahalagang impormasyon
- Ang reinforcement learning (RL) fine-tuning ay pinalawak sa vision-language model (VLM).
- Natuklasan ng pag-aaral na ang simpleng text perturbation—misleading title o maling…
- Nagpapakita rin ng katulad na failure mode ang closed source model,ngunit mas malakas ang…
- Ipinapakita ng karagdagang analysis ang trade-off sa pagitan ng accuracy at faithfulness:…
- pinapabuti ng adversarial enhancement ang robustness,ngunit hindi mapipigilan ang faithfulness…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- Apple Machine Learning Research(RSS)
- Kategorya
- Mga Papel at Pananaliksik
- AI na marka
- 62
RL微调让VLM基准分变好看,却可能让它的推理链变得靠不住,这个反直觉的诊断对正在用RL打磨多模态模型的团队是个警醒。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Pag-aaral sa robustness at chain-of-thought consistency ng RL fine-tuned VLM. 2 Hulyo 2026. https://new.nat6.net/fil/news/cmr3rd0l901bwsl7ld54ejrgb/