OpenAI melatih dan menggunakan pengelas pengaktifan sebagai lapisan pemantauan keselamatan model termaju
Tajuk asal:Training activation classifiers for safety and alignment
Ringkasan AI
OpenAI sejak GPT-5.6 menggunakan pengelas pengaktifan (probes) pada trafik dalaman dan luaran model terkuatnya, menilai secara masa nyata setiap token menggunakan pengaktifan dalaman model, boleh menyekat respons dan panggilan alat yang melanggar pada pertengahan penjanaan serta menyerahkannya kepada model penaakulan untuk semakan semula. Eksperimen menunjukkan probes lebih tahan lasak berbanding pengelas teks yang lebih besar terhadap serangan jailbreak dalam ujian, ketepatannya meningkat selaras dengan keupayaan model, dan pemindahannya baik antara pusat pemeriksaan selepas latihan, tetapi ia perlu dilatih semula untuk model asas baharu dan hanya boleh mengesan jenis pelanggaran yang diketahui yang boleh dilatih secara eksplisit.
Maklumat penting
- OpenAI sejak GPT-5.
- 6 menggunakan pengelas pengaktifan (probes) pada trafik dalaman dan luaran model…
- Eksperimen menunjukkan probes lebih tahan lasak berbanding pengelas teks yang lebih besar terhadap…
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- OpenAI:Alignment 研究博客(RSS)
- Kategori
- Kertas penyelidikan
- Skor AI
- 63
OpenAI 官方披露激活分类器的架构、训练与部署细节,并给出其相对文本分类器在越狱鲁棒性上的实验对比。
Topik berkaitan
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: OpenAI melatih dan menggunakan pengelas pengaktifan sebagai lapisan pemantauan keselamatan model termaju. 3 November 2026. https://new.nat6.net/ms/news/wlmiqh13694tqabyvu6nzvlrs/