Papers & Forschung

Anthropic entwickelt und evaluiert drei Agenten zur automatischen Durchführung von Alignment-Audits

Originaltitel:Building and evaluating alignment auditing agents

KI-Zusammenfassung

Anthropic hat drei Agenten veröffentlicht, die Alignment-Audit-Aufgaben autonom ausführen, und sie in Modellumgebungen mit eingepflanzten Defekten evaluiert. Der Untersuchungsagent löste das Audit-Spiel von Marks et al. unter realen Bedingungen mit einer Erfolgsquote von 13 %; durch die Aggregation mehrerer Agenten stieg die Quote auf 42 %. Der Bewertungsagent konnte in 88 % der Läufe Modelle mit und ohne eingepflanzte Verhaltensweisen unterscheiden. Der breit angelegte Red-Team-Agent entdeckte 7 von 10 eingepflanzten Verhaltensweisen.

Kernpunkte

  • Anthropic hat drei Agenten veröffentlicht,die Alignment-Audit-Aufgaben autonom ausführen,und sie…
  • Der Untersuchungsagent löste das Audit-Spiel von Marks et al.
  • unter realen Bedingungen mit einer Erfolgsquote von 13 %
  • durch die Aggregation mehrerer Agenten stieg die Quote auf 42 %.
  • Der Bewertungsagent konnte in 88 % der Läufe Modelle mit und ohne eingepflanzte Verhaltensweisen…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
Anthropic:Alignment Science Blog(网页)
Kategorie
Papers & Forschung
KI-Bewertung
68
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

Anthropic 报告了三个对齐审计智能体在植入缺陷模型上的可复现成绩,并公开部分代码与提示词,读者可以了解自动化审计的实际能力与局限。

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Anthropic entwickelt und evaluiert drei Agenten zur automatischen Durchführung von Alignment-Audits. 25. Juli 2025. https://new.nat6.net/de/news/b2vmn7tkytgs01vo5htab6uon/

Alle ansehen →