Другое

Обновление Circuits за ноябрь 2025: механизм ответов модели на вопросы с выбором под давлением вреда

Оригинальный заголовок:Circuits Updates — November 2025

ИИ-резюме

Команда интерпретируемости Anthropic изучила влияние давления вреда на ответы Claude 3.5 Haiku на вопросы с выбором. В эксперименте со 129 бинарными вопросами при добавлении фразы о вредном намерении точность модели падала со 100% до 48,1%. Анализ механизма показал, что запросный признак «отказа» в головах внимания негативно взаимодействует с ключевым признаком «обнаружения вреда», заметно снижая внимание модели к правильному ответу. Негативная регуляция только этого признака отказа восстанавливает точность до 93%. Это доказывает, что под давлением модель не меняет фактическое знание, а активно отказывается давать правильный ответ через вмешательство в механизм внимания, что даёт новый взгляд на поведение отказа.

Ключевые моменты

  • Команда интерпретируемости Anthropic изучила влияние давления вреда на ответы Claude 3.
  • 5 Haiku на вопросы с выбором.
  • В эксперименте со 129 бинарными вопросами при добавлении фразы о вредном намерении точность модели…
  • Анализ механизма показал,что запросный признак «отказа» в головах внимания негативно…
  • Негативная регуляция только этого признака отказа восстанавливает точность до 93%.

Кратко

Опубликовано
Обновлено
Источник
Anthropic:Transformer Circuits(可解释性研究)
Категория
Другое
Оценка ИИ
83
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

揭示模型拒绝有害请求的内部机制,助力 AI 安全与可解释性研究。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Обновление Circuits за ноябрь 2025: механизм ответов модели на вопросы с выбором под давлением вреда. 15 ноября 2025. https://new.nat6.net/ru/news/cmoegbh73006bslxx7xgi1vdo/

Смотреть все →