OpenAI trainiert und implementiert Aktivierungsklassifikatoren als Sicherheitsebene für Frontier-Modelle
Originaltitel:Training activation classifiers for safety and alignment
KI-Zusammenfassung
OpenAI setzt seit GPT-5.6 Aktivierungsklassifikatoren (Probes) für internen und externen Traffic seiner stärksten Modelle ein. Mithilfe interner Modellaktivierungen bewerten sie jeden Token in Echtzeit und können regelwidrige Antworten und Tool-Aufrufe mitten in der Generierung blockieren und zur Überprüfung an ein Reasoning-Modell weiterleiten. Experimente zeigen, dass Probes gegenüber den getesteten Jailbreak-Angriffen robuster sind als größere Textklassifikatoren; die Genauigkeit steigt mit der Modellfähigkeit, und die Übertragung zwischen verschiedenen Checkpoints der Nachschulung funktioniert gut. Allerdings müssen sie für neue Basismodelle neu trainiert werden und erkennen nur bekannte, explizit trainierbare Verstoßtypen.
Kernpunkte
- OpenAI setzt seit GPT-5.
- 6 Aktivierungsklassifikatoren (Probes) für internen und externen Traffic seiner stärksten Modelle…
- Mithilfe interner Modellaktivierungen bewerten sie jeden Token in Echtzeit und können regelwidrige…
- Experimente zeigen,dass Probes gegenüber den getesteten Jailbreak-Angriffen robuster sind als…
- die Genauigkeit steigt mit der Modellfähigkeit,und die Übertragung zwischen verschiedenen…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- OpenAI:Alignment 研究博客(RSS)
- Kategorie
- Papers & Forschung
- KI-Bewertung
- 63
OpenAI 官方披露激活分类器的架构、训练与部署细节,并给出其相对文本分类器在越狱鲁棒性上的实验对比。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: OpenAI trainiert und implementiert Aktivierungsklassifikatoren als Sicherheitsebene für Frontier-Modelle. 3. November 2026. https://new.nat6.net/de/news/wlmiqh13694tqabyvu6nzvlrs/