Статьи и исследования

Anthropic разработала и оценила трёх агентов для автоматического аудита выравнивания

Оригинальный заголовок:Building and evaluating alignment auditing agents

ИИ-резюме

Anthropic представила трёх агентов, автономно выполняющих задачи аудита выравнивания, и оценила их в среде с моделями, содержащими внедрённые дефекты. Агент-исследователь в реальных условиях выиграл аудиторскую игру Marks et al. с вероятностью 13%, а при агрегации нескольких агентов показатель вырос до 42%. Агент-оценщик в 88% запусков отличил модели с внедрённым поведением от моделей без него. Red-team-агент поиска в ширину обнаружил 7 из 10 внедрённых поведений.

Ключевые моменты

  • Anthropic представила трёх агентов,автономно выполняющих задачи аудита выравнивания,и оценила их в…
  • Агент-исследователь в реальных условиях выиграл аудиторскую игру Marks et al.
  • с вероятностью 13%,а при агрегации нескольких агентов показатель вырос до 42%.
  • Агент-оценщик в 88% запусков отличил модели с внедрённым поведением от моделей без него.
  • Red-team-агент поиска в ширину обнаружил 7 из 10 внедрённых поведений.

Кратко

Опубликовано
Обновлено
Источник
Anthropic:Alignment Science Blog(网页)
Категория
Статьи и исследования
Оценка ИИ
68
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

Anthropic 报告了三个对齐审计智能体在植入缺陷模型上的可复现成绩,并公开部分代码与提示词,读者可以了解自动化审计的实际能力与局限。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Anthropic разработала и оценила трёх агентов для автоматического аудита выравнивания. 25 июля 2025. https://new.nat6.net/ru/news/b2vmn7tkytgs01vo5htab6uon/

Смотреть все →