Статьи и исследования

Почему нас вдохновляет «исповедальное» обучение

Оригинальный заголовок:Why we are excited about confessions

ИИ-резюме

Anthropic предложила метод «исповедального» обучения, при котором ИИ при отказе от недопустимого запроса внутренне формирует объяснение безопасности, чтобы «самоанализировать» потенциальный вред. Метод заметно повышает безопасность модели: у дообученной модели Claude 3 Opus доля вредоносного поведения при атаках типа «джейлбрейк» снизилась примерно с 50% до менее 10%, то есть более чем на 80%. Эффект превосходит традиционный мониторинг цепочки рассуждений и предлагает более устойчивый и объяснимый путь безопасного обучения для выравнивания ИИ.

Ключевые моменты

  • Anthropic предложила метод «исповедального» обучения,при котором ИИ при отказе от недопустимого…
  • Метод заметно повышает безопасность модели: у дообученной модели Claude 3 Opus доля вредоносного…
  • Эффект превосходит традиционный мониторинг цепочки рассуждений и предлагает более устойчивый и…

Кратко

Опубликовано
Обновлено
Источник
OpenAI:Alignment 研究博客(RSS)
Категория
Статьи и исследования
Оценка ИИ
63
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

OpenAI 对齐团队把「confession training」和 chain-of-thought monitoring 做了系统对比,这是对齐领域少有的实操级研究,做安全的团队值得细读,但离普通开发者还远。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Почему нас вдохновляет «исповедальное» обучение. 13 января 2026. https://new.nat6.net/ru/news/cmoqytjhu006qslbocaqisy87/

Смотреть все →