Papers & Forschung

OpenAI trainiert und implementiert Aktivierungsklassifikatoren als Sicherheitsebene für Frontier-Modelle

Originaltitel:Training activation classifiers for safety and alignment

KI-Zusammenfassung

OpenAI setzt seit GPT-5.6 Aktivierungsklassifikatoren (Probes) für internen und externen Traffic seiner stärksten Modelle ein. Mithilfe interner Modellaktivierungen bewerten sie jeden Token in Echtzeit und können regelwidrige Antworten und Tool-Aufrufe mitten in der Generierung blockieren und zur Überprüfung an ein Reasoning-Modell weiterleiten. Experimente zeigen, dass Probes gegenüber den getesteten Jailbreak-Angriffen robuster sind als größere Textklassifikatoren; die Genauigkeit steigt mit der Modellfähigkeit, und die Übertragung zwischen verschiedenen Checkpoints der Nachschulung funktioniert gut. Allerdings müssen sie für neue Basismodelle neu trainiert werden und erkennen nur bekannte, explizit trainierbare Verstoßtypen.

Kernpunkte

  • OpenAI setzt seit GPT-5.
  • 6 Aktivierungsklassifikatoren (Probes) für internen und externen Traffic seiner stärksten Modelle…
  • Mithilfe interner Modellaktivierungen bewerten sie jeden Token in Echtzeit und können regelwidrige…
  • Experimente zeigen,dass Probes gegenüber den getesteten Jailbreak-Angriffen robuster sind als…
  • die Genauigkeit steigt mit der Modellfähigkeit,und die Übertragung zwischen verschiedenen…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
OpenAI:Alignment 研究博客(RSS)
Kategorie
Papers & Forschung
Thema
OpenAI / ChatGPTSicherheit und Alignment
KI-Bewertung
63
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

OpenAI 官方披露激活分类器的架构、训练与部署细节,并给出其相对文本分类器在越狱鲁棒性上的实验对比。

Themen

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: OpenAI trainiert und implementiert Aktivierungsklassifikatoren als Sicherheitsebene für Frontier-Modelle. 3. November 2026. https://new.nat6.net/de/news/wlmiqh13694tqabyvu6nzvlrs/

Alle ansehen →