Makalah & Riset

Studi Ketahanan dan Konsistensi Chain-of-Thought pada Fine-tuning RL VLM

Judul asli:On Robustness and Chain-of-Thought Consistency of RL-Finetuned VLMs

Ringkasan AI

Fine-tuning reinforcement learning (RL) diperluas ke model bahasa-visual (VLM). Penelitian menemukan bahwa perturbasi teks sederhana—judul menyesatkan atau chain-of-thought (CoT) yang salah—secara signifikan menurunkan ketahanan dan keyakinan model, dengan penurunan lebih jelas pada model sumber terbuka. Model tertutup menunjukkan pola kegagalan serupa, tetapi lebih tangguh dan konsisten dalam penalaran. Analisis lebih lanjut mengungkap trade-off antara akurasi dan kesetiaan: fine-tuning meningkatkan akurasi benchmark, tetapi sekaligus menggerus keandalan CoT dan ketahanan terhadap perubahan konteks; penguatan adversarial dapat memperbaiki ketahanan, namun tidak mencegah pergeseran kesetiaan. Pemberian reward yang sadar kesetiaan dapat memulihkan keselarasan jawaban dan penalaran, tetapi bila digabung dengan penguatan, pelatihan mudah runtuh ke strategi jalan pintas. Temuan ini menekankan perlunya perhatian bersama pada kebenaran, ketahanan, dan kesetiaan penalaran visual.

Poin utama

  • Fine-tuning reinforcement learning (RL) diperluas ke model bahasa-visual (VLM).
  • Penelitian menemukan bahwa perturbasi teks sederhana—judul menyesatkan atau chain-of-thought (CoT)…
  • Model tertutup menunjukkan pola kegagalan serupa,tetapi lebih tangguh dan konsisten dalam penalaran.
  • Analisis lebih lanjut mengungkap trade-off antara akurasi dan kesetiaan: fine-tuning meningkatkan…
  • penguatan adversarial dapat memperbaiki ketahanan,namun tidak mencegah pergeseran kesetiaan.

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Apple Machine Learning Research(RSS)
Kategori
Makalah & Riset
Skor AI
62
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

RL微调让VLM基准分变好看,却可能让它的推理链变得靠不住,这个反直觉的诊断对正在用RL打磨多模态模型的团队是个警醒。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Studi Ketahanan dan Konsistensi Chain-of-Thought pada Fine-tuning RL VLM. 2 Juli 2026. https://new.nat6.net/id/news/cmr3rd0l901bwsl7ld54ejrgb/

Lihat semua →