Anthropic entwickelt und evaluiert drei Agenten zur automatischen Durchführung von Alignment-Audits
Originaltitel:Building and evaluating alignment auditing agents
KI-Zusammenfassung
Anthropic hat drei Agenten veröffentlicht, die Alignment-Audit-Aufgaben autonom ausführen, und sie in Modellumgebungen mit eingepflanzten Defekten evaluiert. Der Untersuchungsagent löste das Audit-Spiel von Marks et al. unter realen Bedingungen mit einer Erfolgsquote von 13 %; durch die Aggregation mehrerer Agenten stieg die Quote auf 42 %. Der Bewertungsagent konnte in 88 % der Läufe Modelle mit und ohne eingepflanzte Verhaltensweisen unterscheiden. Der breit angelegte Red-Team-Agent entdeckte 7 von 10 eingepflanzten Verhaltensweisen.
Kernpunkte
- Anthropic hat drei Agenten veröffentlicht,die Alignment-Audit-Aufgaben autonom ausführen,und sie…
- Der Untersuchungsagent löste das Audit-Spiel von Marks et al.
- unter realen Bedingungen mit einer Erfolgsquote von 13 %
- durch die Aggregation mehrerer Agenten stieg die Quote auf 42 %.
- Der Bewertungsagent konnte in 88 % der Läufe Modelle mit und ohne eingepflanzte Verhaltensweisen…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Kategorie
- Papers & Forschung
- KI-Bewertung
- 68
Anthropic 报告了三个对齐审计智能体在植入缺陷模型上的可复现成绩,并公开部分代码与提示词,读者可以了解自动化审计的实际能力与局限。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Anthropic entwickelt und evaluiert drei Agenten zur automatischen Durchführung von Alignment-Audits. 25. Juli 2025. https://new.nat6.net/de/news/b2vmn7tkytgs01vo5htab6uon/