Makalah & Riset

OpenAI melatih dan menerapkan classifier aktivasi sebagai lapisan pemantauan keamanan model frontier

Judul asli:Training activation classifiers for safety and alignment

Ringkasan AI

Sejak GPT-5.6, OpenAI menerapkan classifier aktivasi (probes) pada lalu lintas internal dan eksternal model terkuatnya, menggunakan aktivasi internal model untuk menilai secara real-time per token, sehingga dapat memblokir respons dan pemanggilan alat yang melanggar di tengah generasi dan menyerahkannya ke model penalaran untuk tinjauan ulang. Eksperimen menunjukkan probes lebih robust terhadap serangan jailbreak yang diuji dibandingkan classifier teks yang lebih besar, akurasinya meningkat seiring kemampuan model, dan transfer baik antar checkpoint pasca-pelatihan, tetapi perlu dilatih ulang untuk model dasar baru dan hanya dapat mendeteksi jenis pelanggaran yang dapat dilatih secara eksplisit.

Poin utama

  • Sejak GPT-5.
  • 6,OpenAI menerapkan classifier aktivasi (probes) pada lalu lintas internal dan eksternal model…
  • Eksperimen menunjukkan probes lebih robust terhadap serangan jailbreak yang diuji dibandingkan…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
OpenAI:Alignment 研究博客(RSS)
Kategori
Makalah & Riset
Topik
OpenAI / ChatGPTKeamanan dan Penyelarasan
Skor AI
63
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

OpenAI 官方披露激活分类器的架构、训练与部署细节,并给出其相对文本分类器在越狱鲁棒性上的实验对比。

Topik terkait

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: OpenAI melatih dan menerapkan classifier aktivasi sebagai lapisan pemantauan keamanan model frontier. 3 November 2026. https://new.nat6.net/id/news/wlmiqh13694tqabyvu6nzvlrs/

Lihat semua →