Studi Ketahanan dan Konsistensi Chain-of-Thought pada Fine-tuning RL VLM
Judul asli:On Robustness and Chain-of-Thought Consistency of RL-Finetuned VLMs
Ringkasan AI
Fine-tuning reinforcement learning (RL) diperluas ke model bahasa-visual (VLM). Penelitian menemukan bahwa perturbasi teks sederhana—judul menyesatkan atau chain-of-thought (CoT) yang salah—secara signifikan menurunkan ketahanan dan keyakinan model, dengan penurunan lebih jelas pada model sumber terbuka. Model tertutup menunjukkan pola kegagalan serupa, tetapi lebih tangguh dan konsisten dalam penalaran. Analisis lebih lanjut mengungkap trade-off antara akurasi dan kesetiaan: fine-tuning meningkatkan akurasi benchmark, tetapi sekaligus menggerus keandalan CoT dan ketahanan terhadap perubahan konteks; penguatan adversarial dapat memperbaiki ketahanan, namun tidak mencegah pergeseran kesetiaan. Pemberian reward yang sadar kesetiaan dapat memulihkan keselarasan jawaban dan penalaran, tetapi bila digabung dengan penguatan, pelatihan mudah runtuh ke strategi jalan pintas. Temuan ini menekankan perlunya perhatian bersama pada kebenaran, ketahanan, dan kesetiaan penalaran visual.
Poin utama
- Fine-tuning reinforcement learning (RL) diperluas ke model bahasa-visual (VLM).
- Penelitian menemukan bahwa perturbasi teks sederhana—judul menyesatkan atau chain-of-thought (CoT)…
- Model tertutup menunjukkan pola kegagalan serupa,tetapi lebih tangguh dan konsisten dalam penalaran.
- Analisis lebih lanjut mengungkap trade-off antara akurasi dan kesetiaan: fine-tuning meningkatkan…
- penguatan adversarial dapat memperbaiki ketahanan,namun tidak mencegah pergeseran kesetiaan.
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Kategori
- Makalah & Riset
- Skor AI
- 62
RL微调让VLM基准分变好看,却可能让它的推理链变得靠不住,这个反直觉的诊断对正在用RL打磨多模态模型的团队是个警醒。
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Studi Ketahanan dan Konsistensi Chain-of-Thought pada Fine-tuning RL VLM. 2 Juli 2026. https://new.nat6.net/id/news/cmr3rd0l901bwsl7ld54ejrgb/