RVPO: การจัดแนวที่คำนึงถึงความเสี่ยงด้วยการปรับความแปรปรวนให้เป็นปกติ
หัวข้อต้นฉบับ:RVPO: Risk-Sensitive Alignment via Variance Regularization
สรุปโดย AI
วิธีการ RLHF แบบไม่มีCriticในปัจจุบันรวมรางวัลหลายเป้าหมายด้วยค่าเฉลี่ยเลขคณิต ซึ่งง่ายต่อการละเลยข้อจำกัด: คะแนนสูงของเป้าหมายเดียวอาจบดบังความล้มเหลวร้ายแรงของเป้าหมายสำคัญอื่น (เช่น ความปลอดภัยหรือรูปแบบ) จึงซ่อนรางวัลที่เป็นคอขวดด้านประสิทธิภาพซึ่งส่งผลต่อการจัดแนวที่เชื่อถือได้ งานวิจัยนี้เสนอ Reward Variance Policy Optimization (RVPO) กรอบที่คำนึงถึงความเสี่ยงซึ่งลงโทษความแปรปรวนระหว่างรางวัลในการรวมข้อได้เปรียบ เปลี่ยนเป้าหมายการปรับให้เหมาะสมจาก "เพิ่มผลรวมสูงสุด" เป็น "เพิ่มความสอดคล้องสูงสุด" การวิเคราะห์แสดงว่า RVPO สามารถระบุและยกระดับการมีส่วนร่วมของรางวัลที่เป็นคอขวดได้อย่างมีประสิทธิภาพ บรรลุการปรับนโยบายที่สมดุลยิ่งขึ้นในงานจัดแนวหลายเป้าหมาย เช่น ความปลอดภัยและการปฏิบัติตามรูปแบบ
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- Apple Machine Learning Research(RSS)
- หมวดหมู่
- บทความและงานวิจัย
- คะแนน AI
- 68
当多数RLHF在‘求总分’,这篇Apple论文告诉你得分方差也致命,做安全对齐的人会看到新的损失函数怎么把一致性也纳入训练目标。
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: RVPO: การจัดแนวที่คำนึงถึงความเสี่ยงด้วยการปรับความแปรปรวนให้เป็นปกติ 8 พฤษภาคม 2026 https://new.nat6.net/th/news/cmox787mj007fslfoi53rqpks/