Статьи и исследования

Anthropic позволила Claude самостоятельно обучать модели для снижения числа сбоев выравнивания

Оригинальный заголовок:Automated researchers can reliably mitigate alignment failures

ИИ-резюме

Anthropic позволила Claude самостоятельно обучать модели, чтобы снизить 10 категорий сбоев выравнивания, включая обман и угодничество: разрыв в безопасности с идеальным поведением значительно сократился без ущерба для общих способностей, а метод остаётся эффективным на моделях в 4,7 раза крупнее объекта оптимизации. Claude также превзошла 28 исследователей безопасности: лучший метод для сценария обмана оказался на 20% лучше лучшего человеческого решения.

Ключевые моменты

  • Anthropic позволила Claude самостоятельно обучать модели,чтобы снизить 10 категорий сбоев…
  • а метод остаётся эффективным на моделях в 4,7 раза крупнее объекта оптимизации.
  • Claude также превзошла 28 исследователей безопасности: лучший метод для сценария обмана оказался…

Кратко

Опубликовано
Обновлено
Источник
Anthropic:Research(发表成果 · 网页)
Категория
Статьи и исследования
Оценка ИИ
78
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

自动化对齐研究把安全训练从一次性微调变成可迭代搜索,Claude Sonnet 5 用约两千条训练样本在 60 小时内接近生产对齐水平,数据效率比现有生产流程高约一万五千倍。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Anthropic позволила Claude самостоятельно обучать модели для снижения числа сбоев выравнивания. 28 августа 2026. https://new.nat6.net/ru/news/cmtd83hb4018fro667i1tbc34/

Смотреть все →