Anthropic разработала и оценила трёх агентов для автоматического аудита выравнивания
Оригинальный заголовок:Building and evaluating alignment auditing agents
ИИ-резюме
Anthropic представила трёх агентов, автономно выполняющих задачи аудита выравнивания, и оценила их в среде с моделями, содержащими внедрённые дефекты. Агент-исследователь в реальных условиях выиграл аудиторскую игру Marks et al. с вероятностью 13%, а при агрегации нескольких агентов показатель вырос до 42%. Агент-оценщик в 88% запусков отличил модели с внедрённым поведением от моделей без него. Red-team-агент поиска в ширину обнаружил 7 из 10 внедрённых поведений.
Ключевые моменты
- Anthropic представила трёх агентов,автономно выполняющих задачи аудита выравнивания,и оценила их в…
- Агент-исследователь в реальных условиях выиграл аудиторскую игру Marks et al.
- с вероятностью 13%,а при агрегации нескольких агентов показатель вырос до 42%.
- Агент-оценщик в 88% запусков отличил модели с внедрённым поведением от моделей без него.
- Red-team-агент поиска в ширину обнаружил 7 из 10 внедрённых поведений.
Кратко
- Опубликовано
- Обновлено
- Источник
- Anthropic:Alignment Science Blog(网页)
- Категория
- Статьи и исследования
- Оценка ИИ
- 68
Anthropic 报告了三个对齐审计智能体在植入缺陷模型上的可复现成绩,并公开部分代码与提示词,读者可以了解自动化审计的实际能力与局限。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Anthropic разработала и оценила трёх агентов для автоматического аудита выравнивания. 25 июля 2025. https://new.nat6.net/ru/news/b2vmn7tkytgs01vo5htab6uon/