OpenAI с помощью обучения с подкреплением создаёт широко и устойчиво полезные модели
Оригинальный заголовок:Reinforcement learning towards broadly and persistently beneficial models
ИИ-резюме
OpenAI обучает модели с подкреплением в реальных диалоговых сценариях, чтобы они проявляли полезные качества: честность, эпистемическую скромность, метакогнитивную прозрачность, исправимость, универсальную справедливость и заботу о благополучии людей. Обучающие данные охватывают здоровье, образование, науку, право, инженерию и другие области. После обучения модели улучшили результаты в десятках независимых оценок выравнивания (включая reward hacking, обман, вредные советы, соблюдение норм), причём улучшения обобщаются на области, задачи и условия оценки, не участвовавшие в обучении. При состязательных подсказках или дообучении модели по-прежнему трудно направить к вредному поведению, что показывает: обучение с подкреплением полезных качеств может давать широкое и устойчивое обобщение выравнивания.
Ключевые моменты
- OpenAI обучает модели с подкреплением в реальных диалоговых сценариях,чтобы они проявляли полезные…
- Обучающие данные охватывают здоровье,образование,науку,право,инженерию и другие области.
- После обучения модели улучшили результаты в десятках независимых оценок выравнивания (включая…
- При состязательных подсказках или дообучении модели по-прежнему трудно направить к вредному…
Кратко
- Опубликовано
- Обновлено
- Источник
- OpenAI:Alignment 研究博客(RSS)
- Категория
- Статьи и исследования
- Оценка ИИ
- 64
OpenAI 这个对齐实验给出了一个反直觉发现,只在健康数据上训练有益行为竟然也能改善非健康领域的对齐,而且更难被攻破,虽然离落地还远但方向很关键。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: OpenAI с помощью обучения с подкреплением создаёт широко и устойчиво полезные модели. 19 июня 2026. https://new.nat6.net/ru/news/cmqk1gfya0283slhilhufijtu/