OpenAI、強化学習で広範かつ持続的な有益モデルを実現
原題:Reinforcement learning towards broadly and persistently beneficial models
AI 要約
OpenAIは実際の会話シナリオで強化学習を用いてモデルをトレーニングし、誠実さ、認識的謙虚さ、メタ認知の透明性、訂正可能性、普遍的な公平性、人類の福祉への配慮といった有益な特性を示すようにした。トレーニングデータは健康、教育、科学、法律、工学など複数の分野に及ぶ。トレーニング後、モデルは数十の独立したアライメント評価(報酬ハッキング、欺瞞、有害な助言、規範遵守など)でいずれも性能が向上し、この改善はトレーニングに参加していない分野、タスク、評価設定にも汎化した。敵対的プロンプトやファインチューニング下でも、モデルを有害な行動に導くことは依然として困難であり、有益特性の強化学習が広範かつ持続的なアライメント汎化を生み出せることを示している。
要点
- OpenAIは実際の会話シナリオで強化学習を用いてモデルをトレーニングし、誠実さ、認識的謙虚さ、メタ認知の透明性、訂正可能性、普遍的な公平性、人類の福祉への配慮といった有益な特性を示すようにした。
- トレーニングデータは健康、教育、科学、法律、工学など複数の分野に及ぶ。
- トレーニング後、モデルは数十の独立したアライメント評価(報酬ハッキング、欺瞞、有害な助言、規範遵守など)でいずれも性能が向上し、この改善はトレーニングに参加していない分野、タスク、評価設定にも汎化し…
- 敵対的プロンプトやファインチューニング下でも、モデルを有害な行動に導くことは依然として困難であり、有益特性の強化学習が広範かつ持続的なアライメント汎化を生み出せることを示している
概要
- 公開日時
- 更新日時
- カテゴリ
- 論文・研究
- AI スコア
- 64
おすすめの理由
OpenAI 这个对齐实验给出了一个反直觉发现,只在健康数据上训练有益行为竟然也能改善非健康领域的对齐,而且更难被攻破,虽然离落地还远但方向很关键。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:OpenAI、強化学習で広範かつ持続的な有益モデルを実現。2026年6月19日。https://new.nat6.net/ja/news/cmqk1gfya0283slhilhufijtu/