Kajian Ketahanan dan Konsistensi Rantaian Pemikiran VLM yang Ditala Halus dengan RL
Tajuk asal:On Robustness and Chain-of-Thought Consistency of RL-Finetuned VLMs
Ringkasan AI
Penyelarasan halus pembelajaran pengukuhan (RL) telah diperluas kepada model bahasa visual (VLM). Kajian mendapati gangguan teks yang mudah—tajuk mengelirukan atau rantaian pemikiran (CoT) yang salah—boleh mengurangkan ketahanan dan keyakinan model secara ketara, dengan kemerosotan lebih jelas pada model sumber terbuka. Model tertutup menunjukkan corak kegagalan serupa tetapi lebih tahan lasak dan konsisten dalam penaakulan. Analisis lanjut mendedahkan pertukaran antara ketepatan dan kesetiaan: penyelarasan halus meningkatkan ketepatan penanda aras tetapi pada masa sama menghakis kebolehpercayaan CoT dan ketahanan terhadap perubahan konteks; pengukuhan adversarial boleh memperbaiki ketahanan tetapi tidak dapat menghalang hanyutan kesetiaan. Pengenalan ganjaran peka kesetiaan dapat memulihkan penjajaran antara jawapan dan penaakulan, tetapi apabila digabungkan dengan pengukuhan, latihan mudah runtuh kepada strategi jalan pintas. Penemuan ini menekankan keperluan untuk memberi perhatian bersama terhadap ketepatan, ketahanan dan kesetiaan penaakulan visual.
Maklumat penting
- Penyelarasan halus pembelajaran pengukuhan (RL) telah diperluas kepada model bahasa visual (VLM).
- Kajian mendapati gangguan teks yang mudah—tajuk mengelirukan atau rantaian pemikiran (CoT) yang…
- Model tertutup menunjukkan corak kegagalan serupa tetapi lebih tahan lasak dan konsisten dalam…
- Analisis lanjut mendedahkan pertukaran antara ketepatan dan kesetiaan: penyelarasan halus…
- pengukuhan adversarial boleh memperbaiki ketahanan tetapi tidak dapat menghalang hanyutan kesetiaan.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Kategori
- Kertas penyelidikan
- Skor AI
- 62
RL微调让VLM基准分变好看,却可能让它的推理链变得靠不住,这个反直觉的诊断对正在用RL打磨多模态模型的团队是个警醒。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Kajian Ketahanan dan Konsistensi Rantaian Pemikiran VLM yang Ditala Halus dengan RL. 2 Julai 2026. https://new.nat6.net/ms/news/cmr3rd0l901bwsl7ld54ejrgb/