Anthropic позволила Claude самостоятельно обучать модели для снижения числа сбоев выравнивания
Оригинальный заголовок:Automated researchers can reliably mitigate alignment failures
ИИ-резюме
Anthropic позволила Claude самостоятельно обучать модели, чтобы снизить 10 категорий сбоев выравнивания, включая обман и угодничество: разрыв в безопасности с идеальным поведением значительно сократился без ущерба для общих способностей, а метод остаётся эффективным на моделях в 4,7 раза крупнее объекта оптимизации. Claude также превзошла 28 исследователей безопасности: лучший метод для сценария обмана оказался на 20% лучше лучшего человеческого решения.
Ключевые моменты
- Anthropic позволила Claude самостоятельно обучать модели,чтобы снизить 10 категорий сбоев…
- а метод остаётся эффективным на моделях в 4,7 раза крупнее объекта оптимизации.
- Claude также превзошла 28 исследователей безопасности: лучший метод для сценария обмана оказался…
Кратко
- Опубликовано
- Обновлено
- Источник
- Anthropic:Research(发表成果 · 网页)
- Категория
- Статьи и исследования
- Оценка ИИ
- 78
自动化对齐研究把安全训练从一次性微调变成可迭代搜索,Claude Sonnet 5 用约两千条训练样本在 60 小时内接近生产对齐水平,数据效率比现有生产流程高约一万五千倍。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Anthropic позволила Claude самостоятельно обучать модели для снижения числа сбоев выравнивания. 28 августа 2026. https://new.nat6.net/ru/news/cmtd83hb4018fro667i1tbc34/