ศึกษาความทนทานและความสอดคล้องของห่วงโซ่ความคิดในการปรับแต่ง VLM ด้วย RL
หัวข้อต้นฉบับ:On Robustness and Chain-of-Thought Consistency of RL-Finetuned VLMs
สรุปโดย AI
การปรับแต่งด้วยการเรียนรู้แบบเสริมกำลัง (RL) ถูกขยายไปยังโมเดลภาษาภาพ (VLM) การศึกษาพบว่าการรบกวนข้อความง่าย ๆ เช่นหัวเรื่องที่ทำให้เข้าใจผิดหรือห่วงโซ่ความคิด (CoT) ที่ผิดพลาด ลดความทนทานและความมั่นใจของโมเดลอย่างมีนัยสำคัญ และโมเดลโอเพนซอร์สเสื่อมถอยชัดเจนกว่า โมเดลปิดแสดงรูปแบบล้มเหลวคล้ายกันแต่ทนทานและสอดคล้องในการอนุมานมากกว่า การวิเคราะห์เพิ่มเติมเผยการแลกเปลี่ยนระหว่างความแม่นยำและความซื่อสัตย์: การปรับแต่งเพิ่มความแม่นยำ基準แต่กัดกร่อนความน่าเชื่อถือของ CoT และความทนทานต่อการเปลี่ยนแปลงบริบท การเสริมความทนทานสามารถปรับปรุงความทนทานแต่หยุดการเลื่อนของความซื่อสัตย์ไม่ได้ การเพิ่มรางวัลที่ตระหนักถึงความซื่อสัตย์ฟื้นการจัดแนวคำตอบกับการอนุมานได้ แต่เมื่อรวมกับการเสริมความทนทาน การฝึกมักล่มสลายไปสู่กลยุทธ์ทางลัด ผลเหล่านี้เน้นย้ำถึงความจำเป็นในการใส่ใจความถูกต้อง ความทนทาน และความซื่อสัตย์ของการอนุมานภาพร่วมกัน
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- Apple Machine Learning Research(RSS)
- หมวดหมู่
- บทความและงานวิจัย
- คะแนน AI
- 62
RL微调让VLM基准分变好看,却可能让它的推理链变得靠不住,这个反直觉的诊断对正在用RL打磨多模态模型的团队是个警醒。
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: ศึกษาความทนทานและความสอดคล้องของห่วงโซ่ความคิดในการปรับแต่ง VLM ด้วย RL 2 กรกฎาคม 2026 https://new.nat6.net/th/news/cmr3rd0l901bwsl7ld54ejrgb/