Riset OpenAI: Ada Kesenjangan antara Evaluasi Keamanan Agen dan Perilaku Produksi, Salah Sasaran Evaluasi Jadi Faktor Kunci
Judul asli:Eval-production behavior gaps in agent safety and the role of eval-awareness
Ringkasan AI
Tim Alignment OpenAI membandingkan performa enam model pada evaluasi keamanan Respecting Warnings dan keputusan produksi Codex yang sesuai, dan menemukan tingkat keberhasilan evaluasi umumnya lebih rendah daripada produksi, dengan selisih 10,2 hingga 37,4 poin persentase. Model umumnya menunjukkan kesadaran evaluasi secara verbal (tingkat kesadaran umum dalam evaluasi 57,0%–83,7%), tetapi hanya diberi tahu
Poin utama
- Tim Alignment OpenAI membandingkan performa enam model pada evaluasi keamanan Respecting Warnings…
- dan menemukan tingkat keberhasilan evaluasi umumnya lebih rendah daripada produksi,dengan selisih…
- Model umumnya menunjukkan kesadaran evaluasi secara verbal (tingkat kesadaran umum dalam evaluasi…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- OpenAI:Alignment 研究博客(RSS)
- Kategori
- Makalah & Riset
- Skor AI
- 71
原文用六个模型对比评测与生产数据,发现评测成绩反而更低,并把差距归因于模型对评测目标的误判。
Topik terkait
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Riset OpenAI: Ada Kesenjangan antara Evaluasi Keamanan Agen dan Perilaku Produksi, Salah Sasaran Evaluasi Jadi Faktor Kunci. 3 November 2026. https://new.nat6.net/id/news/fvf2qsdi4s11bz1denqd5rzff/