Kertas penyelidikan

Kajian Ketahanan dan Konsistensi Rantaian Pemikiran VLM yang Ditala Halus dengan RL

Tajuk asal:On Robustness and Chain-of-Thought Consistency of RL-Finetuned VLMs

Ringkasan AI

Penyelarasan halus pembelajaran pengukuhan (RL) telah diperluas kepada model bahasa visual (VLM). Kajian mendapati gangguan teks yang mudah—tajuk mengelirukan atau rantaian pemikiran (CoT) yang salah—boleh mengurangkan ketahanan dan keyakinan model secara ketara, dengan kemerosotan lebih jelas pada model sumber terbuka. Model tertutup menunjukkan corak kegagalan serupa tetapi lebih tahan lasak dan konsisten dalam penaakulan. Analisis lanjut mendedahkan pertukaran antara ketepatan dan kesetiaan: penyelarasan halus meningkatkan ketepatan penanda aras tetapi pada masa sama menghakis kebolehpercayaan CoT dan ketahanan terhadap perubahan konteks; pengukuhan adversarial boleh memperbaiki ketahanan tetapi tidak dapat menghalang hanyutan kesetiaan. Pengenalan ganjaran peka kesetiaan dapat memulihkan penjajaran antara jawapan dan penaakulan, tetapi apabila digabungkan dengan pengukuhan, latihan mudah runtuh kepada strategi jalan pintas. Penemuan ini menekankan keperluan untuk memberi perhatian bersama terhadap ketepatan, ketahanan dan kesetiaan penaakulan visual.

Maklumat penting

  • Penyelarasan halus pembelajaran pengukuhan (RL) telah diperluas kepada model bahasa visual (VLM).
  • Kajian mendapati gangguan teks yang mudah—tajuk mengelirukan atau rantaian pemikiran (CoT) yang…
  • Model tertutup menunjukkan corak kegagalan serupa tetapi lebih tahan lasak dan konsisten dalam…
  • Analisis lanjut mendedahkan pertukaran antara ketepatan dan kesetiaan: penyelarasan halus…
  • pengukuhan adversarial boleh memperbaiki ketahanan tetapi tidak dapat menghalang hanyutan kesetiaan.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
Apple Machine Learning Research(RSS)
Kategori
Kertas penyelidikan
Skor AI
62
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

RL微调让VLM基准分变好看,却可能让它的推理链变得靠不住,这个反直觉的诊断对正在用RL打磨多模态模型的团队是个警醒。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Kajian Ketahanan dan Konsistensi Rantaian Pemikiran VLM yang Ditala Halus dengan RL. 2 Julai 2026. https://new.nat6.net/ms/news/cmr3rd0l901bwsl7ld54ejrgb/

Lihat Semua →