«Переключатель» для знаний двойного назначения в AI-моделях: Anthropic и AE Studio предложили метод GRAM
Оригинальный заголовок:An off switch for dual use knowledge in AI models
ИИ-резюме
Anthropic и AE Studio совместно предложили метод GRAM (Gradient Routing Auxiliary Module): в каждый слой Transformer добавляется съёмный нейронный модуль, благодаря чему при обучении знания двойного назначения — вирусология, кибербезопасность, ядерная физика, специализированные языки программирования — маршрутизируются только в соответствующий модуль, а не распространяются глобально. После обучения удаление модуля устраняет эту способность, а сохранение позволяет использовать её при доверенном развёртывании. Эксперименты на синтетических и реальных данных и моделях от 50M до 5B параметров показали, что GRAM по эффективности сопоставим с фильтрацией данных, удаление модуля не снижает общую производительность, а восстановить способность сложнее, чем при послетренировочном «забывании». Исследование предлагает более устойчивый подход к балансу безопасного доступа и полезного использования знаний двойного назначения.
Ключевые моменты
- Anthropic и AE Studio совместно предложили метод GRAM (Gradient Routing Auxiliary Module): в…
- После обучения удаление модуля устраняет эту способность,а сохранение позволяет использовать её…
- Эксперименты на синтетических и реальных данных и моделях от 50M до 5B параметров показали,что…
- Исследование предлагает более устойчивый подход к балансу безопасного доступа и полезного…
Кратко
- Опубликовано
- Обновлено
- Источник
- Anthropic:Research(发表成果 · 网页)
- Категория
- Статьи и исследования
- Оценка ИИ
- 68
这是Anthropic在模型安全对齐上的一个新尝试,提出可拆卸模块来精细控制有毒知识,同时保留一般性能。方法还未上Claude,但实验结果表明这条路可能比简单的拒绝训练更鲁棒。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: «Переключатель» для знаний двойного назначения в AI-моделях: Anthropic и AE Studio предложили метод GRAM. 8 июля 2026. https://new.nat6.net/ru/news/cmrcpjgf00373ihx5mtyo2fsy/