OpenAI обучила и внедрила классификаторы активаций как уровень безопасности передовых моделей
Оригинальный заголовок:Training activation classifiers for safety and alignment
ИИ-резюме
С GPT-5.6 OpenAI развернула классификаторы активаций (probes) на внутреннем и внешнем трафике своих самых мощных моделей. Они оценивают каждый токен в реальном времени по внутренним активациям модели и могут прервать нарушающий правила ответ или вызов инструмента прямо во время генерации, передав его на проверку модели рассуждения. Эксперименты показали, что probes устойчивее к протестированным джейлбрейк-атакам, чем более крупные текстовые классификаторы; точность растёт с возможностями модели, а перенос между контрольными точками постобучения хороший. Однако probes нужно переобучать для новых базовых моделей, и они выявляют только известные типы нарушений, которые можно явно обучить.
Ключевые моменты
- 6 OpenAI развернула классификаторы активаций (probes) на внутреннем и внешнем трафике своих самых…
- Они оценивают каждый токен в реальном времени по внутренним активациям модели и могут прервать…
- Эксперименты показали,что probes устойчивее к протестированным джейлбрейк-атакам,чем более крупные…
- точность растёт с возможностями модели,а перенос между контрольными точками постобучения хороший.
- Однако probes нужно переобучать для новых базовых моделей,и они выявляют только известные типы…
Кратко
- Опубликовано
- Обновлено
- Источник
- OpenAI:Alignment 研究博客(RSS)
- Категория
- Статьи и исследования
- Оценка ИИ
- 63
OpenAI 官方披露激活分类器的架构、训练与部署细节,并给出其相对文本分类器在越狱鲁棒性上的实验对比。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: OpenAI обучила и внедрила классификаторы активаций как уровень безопасности передовых моделей. 3 ноября 2026. https://new.nat6.net/ru/news/wlmiqh13694tqabyvu6nzvlrs/