Papers & Forschung

OpenAI nutzt automatisiertes Red-Team-Training zur Verbesserung der Ambiguitätsrobustheit von GPT-6 Astra und Sol in Hochrisikobereichen

Originaltitel:Improving Fuzzy Robustness in LLM Safety with Automated Red Teaming

KI-Zusammenfassung

Das OpenAI-Forschungsteam erläutert, wie automatisiertes Red-Teaming die Ambiguitätsrobustheit von Modellen in hochriskanten Dual-Use-Bereichen wie Cyber und Biologie verbessern soll. Durch Skalierung der Testzeit-Rechenleistung der Angreifermodelle werden Jailbreaks iterativ gesucht, wobei ein Angriff in mehreren wiederholten Tests erfolgreich sein muss (worst@n), um verlässliche adversariale Trainingsdaten für das RL-Training zu erzeugen.

Kernpunkte

  • Das OpenAI-Forschungsteam erläutert,wie automatisiertes Red-Teaming die Ambiguitätsrobustheit von…
  • Durch Skalierung der Testzeit-Rechenleistung der Angreifermodelle werden Jailbreaks iterativ…
  • um verlässliche adversariale Trainingsdaten für das RL-Training zu erzeugen.

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
OpenAI:Alignment 研究博客(RSS)
Kategorie
Papers & Forschung
Thema
OpenAI / ChatGPTSicherheit und Alignment
KI-Bewertung
62
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

OpenAI 自己披露的训练方法细节,展示了用自动化攻击生成数据提升模糊鲁棒性的可控实验和结果。

Themen

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: OpenAI nutzt automatisiertes Red-Team-Training zur Verbesserung der Ambiguitätsrobustheit von GPT-6 Astra und Sol in Hochrisikobereichen. 12. November 2026. https://new.nat6.net/de/news/yg97h3u5vthadivuv5po5f0aw/

Alle ansehen →