METR mengukur kemampuan model mengenali evaluasi keselarasan: agen investigatif dapat membedakan evaluasi keselarasan dan kapabilitas
Judul asli:Measuring alignment eval tells
Ringkasan AI
METR merilis catatan penelitian yang menggunakan agen investigatif untuk menyelidiki lingkungan dalam 19 evaluasi keselarasan dan 36 evaluasi kapabilitas, guna mengukur apakah model dapat mengenali bahwa dirinya berada dalam evaluasi keselarasan. Hasilnya menunjukkan kemampuan agen membedakan kedua jenis evaluasi terus meningkat selama setahun terakhir, dan Opus 5.5 dalam kumpulan datanya menempatkan semua evaluasi keselarasan di atas semua evaluasi kapabilitas. Dasar pengenalan model mencakup petunjuk seperti lingkungan yang tampak seperti honeypot simulasi; penulis membagi petunjuk keselarasan menjadi dua kategori, yaitu tingkat lingkungan dan tingkat tugas, dan menyatakan bahwa hal ini dapat digunakan untuk mengulang dan memperbaiki desain evaluasi keselarasan.
Poin utama
- METR merilis catatan penelitian yang menggunakan agen investigatif untuk menyelidiki lingkungan…
- Hasilnya menunjukkan kemampuan agen membedakan kedua jenis evaluasi terus meningkat selama setahun…
- 5 dalam kumpulan datanya menempatkan semua evaluasi keselarasan di atas semua evaluasi kapabilitas.
- Dasar pengenalan model mencakup petunjuk seperti lingkungan yang tampak seperti honeypot simulasi
- penulis membagi petunjuk keselarasan menjadi dua kategori,yaitu tingkat lingkungan dan tingkat…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- METR:Notes(网页)
- Kategori
- Makalah & Riset
- Skor AI
- 62
METR 用调查型智能体实测 55 个评测,发现当前模型能识别对齐评测,并给出了环境级与任务级线索的分类方法。
Topik terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: METR mengukur kemampuan model mengenali evaluasi keselarasan: agen investigatif dapat membedakan evaluasi keselarasan dan kapabilitas. 16 November 2026. https://new.nat6.net/id/news/m4emm1ej7qzex1k77a7mfaztd/