Bài báo & nghiên cứu

Nghiên cứu về độ bền vững và tính nhất quán của chuỗi tư duy khi tinh chỉnh VLM bằng RL

Tiêu đề gốc:On Robustness and Chain-of-Thought Consistency of RL-Finetuned VLMs

Tóm tắt AI

Tinh chỉnh bằng học tăng cường (RL) đã được mở rộng sang các mô hình ngôn ngữ thị giác (VLM). Nghiên cứu phát hiện rằng các nhiễu loạn văn bản đơn giản — tiêu đề gây nhầm lẫn hoặc chuỗi tư duy (CoT) sai — làm giảm đáng kể độ bền vững và độ tin cậy của mô hình, và các mô hình mã nguồn mở suy giảm rõ rệt hơn. Các mô hình đóng cho thấy các kiểu thất bại tương tự, nhưng có độ bền vững và tính nhất quán suy luận tốt hơn. Phân tích sâu hơn cho thấy sự đánh đổi giữa độ chính xác và tính trung thực: tinh chỉnh nâng cao độ chính xác trên chuẩn đánh giá nhưng đồng thời làm xói mòn độ tin cậy của CoT và độ bền vững trước các thay đổi ngữ cảnh; tăng cường đối kháng có thể cải thiện độ bền vững nhưng không ngăn được sự trôi dạt tính trung thực. Việc đưa vào phần thưởng nhận biết tính trung thực có thể khôi phục sự căn chỉnh giữa câu trả lời và suy luận, nhưng khi kết hợp với tăng cường đối kháng thì quá trình huấn luyện dễ sụp đổ sang các chiến lược đường tắt. Những phát hiện này nhấn mạnh sự cần thiết phải đồng thời quan tâm đến tính đúng đắn, độ bền vững và tính trung thực của suy luận thị giác.

Thông tin chính

  • Tinh chỉnh bằng học tăng cường (RL) đã được mở rộng sang các mô hình ngôn ngữ thị giác (VLM).
  • Nghiên cứu phát hiện rằng các nhiễu loạn văn bản đơn giản — tiêu đề gây nhầm lẫn hoặc chuỗi tư duy…
  • Các mô hình đóng cho thấy các kiểu thất bại tương tự,nhưng có độ bền vững và tính nhất quán suy…
  • Phân tích sâu hơn cho thấy sự đánh đổi giữa độ chính xác và tính trung thực: tinh chỉnh nâng cao…
  • tăng cường đối kháng có thể cải thiện độ bền vững nhưng không ngăn được sự trôi dạt tính trung thực.

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
Apple Machine Learning Research(RSS)
Danh mục
Bài báo & nghiên cứu
Điểm AI
62
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

RL微调让VLM基准分变好看,却可能让它的推理链变得靠不住,这个反直觉的诊断对正在用RL打磨多模态模型的团队是个警醒。

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Nghiên cứu về độ bền vững và tính nhất quán của chuỗi tư duy khi tinh chỉnh VLM bằng RL. 2 tháng 7 2026. https://new.nat6.net/vi/news/cmr3rd0l901bwsl7ld54ejrgb/

Xem tất cả →