Papers & Forschung

OpenAI erzielt durch Reinforcement Learning breit und dauerhaft nützliche Modelle

Originaltitel:Reinforcement learning towards broadly and persistently beneficial models

KI-Zusammenfassung

OpenAI trainiert Modelle durch Reinforcement Learning in echten Gesprächsszenarien, um nützliche Eigenschaften wie Ehrlichkeit, epistemische Bescheidenheit, metakognitive Transparenz, Korrigierbarkeit, allgemeine Fairness und Fürsorge für das menschliche Wohlergehen zu zeigen. Die Trainingsdaten umfassen Bereiche wie Gesundheit, Bildung, Wissenschaft, Recht und Technik. Nach dem Training verbesserten sich die Modelle in Dutzenden unabhängiger Alignment-Bewertungen (einschließlich Reward Hacking, Täuschung, schädliche Ratschläge, Normbefolgung) und diese Verbesserungen generalisierten auf Bereiche, Aufgaben und Bewertungsszenarien, die nicht im Training enthalten waren. Unter adversarialen Prompts oder Fine-Tuning lassen sich die Modelle weiterhin schwer zu schädlichem Verhalten führen, was zeigt, dass Reinforcement Learning für nützliche Eigenschaften eine breite und dauerhafte Alignment-Generalisierung erzeugen kann.

Kernpunkte

  • OpenAI trainiert Modelle durch Reinforcement Learning in echten Gesprächsszenarien,um nützliche…
  • Die Trainingsdaten umfassen Bereiche wie Gesundheit,Bildung,Wissenschaft,Recht und Technik.
  • Nach dem Training verbesserten sich die Modelle in Dutzenden unabhängiger Alignment-Bewertungen…
  • Unter adversarialen Prompts oder Fine-Tuning lassen sich die Modelle weiterhin schwer zu…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
OpenAI:Alignment 研究博客(RSS)
Kategorie
Papers & Forschung
KI-Bewertung
64
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

OpenAI 这个对齐实验给出了一个反直觉发现,只在健康数据上训练有益行为竟然也能改善非健康领域的对齐,而且更难被攻破,虽然离落地还远但方向很关键。

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: OpenAI erzielt durch Reinforcement Learning breit und dauerhaft nützliche Modelle. 19. Juni 2026. https://new.nat6.net/de/news/cmqk1gfya0283slhilhufijtu/

Alle ansehen →