Anthropic lässt Claude Modelle selbst trainieren, um Alignment-Fehler zu verringern
Originaltitel:Automated researchers can reliably mitigate alignment failures
KI-Zusammenfassung
Anthropic lässt Claude Modelle selbst trainieren, um zehn Arten von Alignment-Fehlern wie Täuschung und Schmeichelei zu verringern. Die Sicherheitslücke zu perfektem Verhalten wurde jeweils deutlich verkleinert, ohne die allgemeinen Fähigkeiten zu beeinträchtigen; die Methode wirkt auch bei Modellen, die 4,7-mal größer sind als das Optimierungsobjekt. Claude übertraf zudem 28 menschliche Sicherheitsforscher; im Täuschungsszenario war die beste Methode von Claude 20 % besser als die beste menschliche Lösung.
Kernpunkte
- Anthropic lässt Claude Modelle selbst trainieren,um zehn Arten von Alignment-Fehlern wie Täuschung…
- Die Sicherheitslücke zu perfektem Verhalten wurde jeweils deutlich verkleinert,ohne die…
- die Methode wirkt auch bei Modellen,die 4,7-mal größer sind als das Optimierungsobjekt.
- Claude übertraf zudem 28 menschliche Sicherheitsforscher
- im Täuschungsszenario war die beste Methode von Claude 20 % besser als die beste menschliche Lösung.
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Kategorie
- Papers & Forschung
- KI-Bewertung
- 78
自动化对齐研究把安全训练从一次性微调变成可迭代搜索,Claude Sonnet 5 用约两千条训练样本在 60 小时内接近生产对齐水平,数据效率比现有生产流程高约一万五千倍。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Anthropic lässt Claude Modelle selbst trainieren, um Alignment-Fehler zu verringern. 28. August 2026. https://new.nat6.net/de/news/cmtd83hb4018fro667i1tbc34/