Kertas penyelidikan

OpenAI melatih dan menggunakan pengelas pengaktifan sebagai lapisan pemantauan keselamatan model termaju

Tajuk asal:Training activation classifiers for safety and alignment

Ringkasan AI

OpenAI sejak GPT-5.6 menggunakan pengelas pengaktifan (probes) pada trafik dalaman dan luaran model terkuatnya, menilai secara masa nyata setiap token menggunakan pengaktifan dalaman model, boleh menyekat respons dan panggilan alat yang melanggar pada pertengahan penjanaan serta menyerahkannya kepada model penaakulan untuk semakan semula. Eksperimen menunjukkan probes lebih tahan lasak berbanding pengelas teks yang lebih besar terhadap serangan jailbreak dalam ujian, ketepatannya meningkat selaras dengan keupayaan model, dan pemindahannya baik antara pusat pemeriksaan selepas latihan, tetapi ia perlu dilatih semula untuk model asas baharu dan hanya boleh mengesan jenis pelanggaran yang diketahui yang boleh dilatih secara eksplisit.

Maklumat penting

  • OpenAI sejak GPT-5.
  • 6 menggunakan pengelas pengaktifan (probes) pada trafik dalaman dan luaran model…
  • Eksperimen menunjukkan probes lebih tahan lasak berbanding pengelas teks yang lebih besar terhadap…

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
OpenAI:Alignment 研究博客(RSS)
Kategori
Kertas penyelidikan
Topik
OpenAI / ChatGPTKeselamatan dan penjajaran
Skor AI
63
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

OpenAI 官方披露激活分类器的架构、训练与部署细节,并给出其相对文本分类器在越狱鲁棒性上的实验对比。

Topik berkaitan

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: OpenAI melatih dan menggunakan pengelas pengaktifan sebagai lapisan pemantauan keselamatan model termaju. 3 November 2026. https://new.nat6.net/ms/news/wlmiqh13694tqabyvu6nzvlrs/

Lihat Semua →