Penemuan sisihan penjajaran AI yang tidak diketahui dalam penggunaan dunia sebenar
Tajuk asal:Discovering unknown AI misalignments in real-world usage
Ringkasan AI
Penyelidikan menunjukkan bahawa model penaakulan dapat mengenal pasti dan memahami sisihan penjajaran tingkah laku AI yang tidak diketahui sebelum ini melalui analisis maklum balas sebenar pengguna. Kaedah ini tidak bergantung pada klasifikasi sisihan yang telah ditetapkan, sebaliknya secara aktif menemui potensi penyimpangan antara tingkah laku model dan niat manusia daripada data interaksi sebenar, menyediakan laluan baharu untuk pemantauan dan pembetulan sistem AI secara dinamik.
Maklumat penting
- Penyelidikan menunjukkan bahawa model penaakulan dapat mengenal pasti dan memahami sisihan…
- Kaedah ini tidak bergantung pada klasifikasi sisihan yang telah ditetapkan,sebaliknya secara aktif…
- menyediakan laluan baharu untuk pemantauan dan pembetulan sistem AI secara dinamik.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- OpenAI:Alignment 研究博客(RSS)
- Kategori
- Kertas penyelidikan
- Skor AI
- 71
OpenAI 让推理模型从真实用户反馈中自动发现未知的对齐失败,这比红队测试更接近真实威胁面。做安全和对齐的人应该认真看,它可能改变你们的检测范式。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Penemuan sisihan penjajaran AI yang tidak diketahui dalam penggunaan dunia sebenar. 7 Februari 2026. https://new.nat6.net/ms/news/cmoqytjhu006pslboxo1b8drl/