Статьи и исследования

OpenAI обучила и внедрила классификаторы активаций как уровень безопасности передовых моделей

Оригинальный заголовок:Training activation classifiers for safety and alignment

ИИ-резюме

С GPT-5.6 OpenAI развернула классификаторы активаций (probes) на внутреннем и внешнем трафике своих самых мощных моделей. Они оценивают каждый токен в реальном времени по внутренним активациям модели и могут прервать нарушающий правила ответ или вызов инструмента прямо во время генерации, передав его на проверку модели рассуждения. Эксперименты показали, что probes устойчивее к протестированным джейлбрейк-атакам, чем более крупные текстовые классификаторы; точность растёт с возможностями модели, а перенос между контрольными точками постобучения хороший. Однако probes нужно переобучать для новых базовых моделей, и они выявляют только известные типы нарушений, которые можно явно обучить.

Ключевые моменты

  • 6 OpenAI развернула классификаторы активаций (probes) на внутреннем и внешнем трафике своих самых…
  • Они оценивают каждый токен в реальном времени по внутренним активациям модели и могут прервать…
  • Эксперименты показали,что probes устойчивее к протестированным джейлбрейк-атакам,чем более крупные…
  • точность растёт с возможностями модели,а перенос между контрольными точками постобучения хороший.
  • Однако probes нужно переобучать для новых базовых моделей,и они выявляют только известные типы…

Кратко

Опубликовано
Обновлено
Источник
OpenAI:Alignment 研究博客(RSS)
Категория
Статьи и исследования
Тема
OpenAI / ChatGPTБезопасность и выравнивание
Оценка ИИ
63
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

OpenAI 官方披露激活分类器的架构、训练与部署细节,并给出其相对文本分类器在越狱鲁棒性上的实验对比。

Темы

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: OpenAI обучила и внедрила классификаторы активаций как уровень безопасности передовых моделей. 3 ноября 2026. https://new.nat6.net/ru/news/wlmiqh13694tqabyvu6nzvlrs/

Смотреть все →