Статьи и исследования

OpenAI с помощью обучения с подкреплением создаёт широко и устойчиво полезные модели

Оригинальный заголовок:Reinforcement learning towards broadly and persistently beneficial models

ИИ-резюме

OpenAI обучает модели с подкреплением в реальных диалоговых сценариях, чтобы они проявляли полезные качества: честность, эпистемическую скромность, метакогнитивную прозрачность, исправимость, универсальную справедливость и заботу о благополучии людей. Обучающие данные охватывают здоровье, образование, науку, право, инженерию и другие области. После обучения модели улучшили результаты в десятках независимых оценок выравнивания (включая reward hacking, обман, вредные советы, соблюдение норм), причём улучшения обобщаются на области, задачи и условия оценки, не участвовавшие в обучении. При состязательных подсказках или дообучении модели по-прежнему трудно направить к вредному поведению, что показывает: обучение с подкреплением полезных качеств может давать широкое и устойчивое обобщение выравнивания.

Ключевые моменты

  • OpenAI обучает модели с подкреплением в реальных диалоговых сценариях,чтобы они проявляли полезные…
  • Обучающие данные охватывают здоровье,образование,науку,право,инженерию и другие области.
  • После обучения модели улучшили результаты в десятках независимых оценок выравнивания (включая…
  • При состязательных подсказках или дообучении модели по-прежнему трудно направить к вредному…

Кратко

Опубликовано
Обновлено
Источник
OpenAI:Alignment 研究博客(RSS)
Категория
Статьи и исследования
Оценка ИИ
64
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

OpenAI 这个对齐实验给出了一个反直觉发现,只在健康数据上训练有益行为竟然也能改善非健康领域的对齐,而且更难被攻破,虽然离落地还远但方向很关键。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: OpenAI с помощью обучения с подкреплением создаёт широко и устойчиво полезные модели. 19 июня 2026. https://new.nat6.net/ru/news/cmqk1gfya0283slhilhufijtu/

Смотреть все →