บทความและงานวิจัย

ศึกษาความทนทานและความสอดคล้องของห่วงโซ่ความคิดในการปรับแต่ง VLM ด้วย RL

หัวข้อต้นฉบับ:On Robustness and Chain-of-Thought Consistency of RL-Finetuned VLMs

สรุปโดย AI

การปรับแต่งด้วยการเรียนรู้แบบเสริมกำลัง (RL) ถูกขยายไปยังโมเดลภาษาภาพ (VLM) การศึกษาพบว่าการรบกวนข้อความง่าย ๆ เช่นหัวเรื่องที่ทำให้เข้าใจผิดหรือห่วงโซ่ความคิด (CoT) ที่ผิดพลาด ลดความทนทานและความมั่นใจของโมเดลอย่างมีนัยสำคัญ และโมเดลโอเพนซอร์สเสื่อมถอยชัดเจนกว่า โมเดลปิดแสดงรูปแบบล้มเหลวคล้ายกันแต่ทนทานและสอดคล้องในการอนุมานมากกว่า การวิเคราะห์เพิ่มเติมเผยการแลกเปลี่ยนระหว่างความแม่นยำและความซื่อสัตย์: การปรับแต่งเพิ่มความแม่นยำ基準แต่กัดกร่อนความน่าเชื่อถือของ CoT และความทนทานต่อการเปลี่ยนแปลงบริบท การเสริมความทนทานสามารถปรับปรุงความทนทานแต่หยุดการเลื่อนของความซื่อสัตย์ไม่ได้ การเพิ่มรางวัลที่ตระหนักถึงความซื่อสัตย์ฟื้นการจัดแนวคำตอบกับการอนุมานได้ แต่เมื่อรวมกับการเสริมความทนทาน การฝึกมักล่มสลายไปสู่กลยุทธ์ทางลัด ผลเหล่านี้เน้นย้ำถึงความจำเป็นในการใส่ใจความถูกต้อง ความทนทาน และความซื่อสัตย์ของการอนุมานภาพร่วมกัน

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
Apple Machine Learning Research(RSS)
หมวดหมู่
บทความและงานวิจัย
คะแนน AI
62
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

RL微调让VLM基准分变好看,却可能让它的推理链变得靠不住,这个反直觉的诊断对正在用RL打磨多模态模型的团队是个警醒。

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: ศึกษาความทนทานและความสอดคล้องของห่วงโซ่ความคิดในการปรับแต่ง VLM ด้วย RL 2 กรกฎาคม 2026 https://new.nat6.net/th/news/cmr3rd0l901bwsl7ld54ejrgb/

ดูทั้งหมด →