OpenAIとDeepMind、人間の選好から学習する研究で協力
原題:Learning from human preferences
AI 要約
OpenAIはDeepMindの安全チームと協力し、人間が2つの候補行動のどちらが良いかを判断することで人間の望むことを推測するアルゴリズムを開発した。この取り組みは目的関数の手作業での記述を不要にし、複雑な目標に対して単純な代理指標や目標の偏りを用いることで不適切あるいは危険な行動を招くことを避けることを目的としており、安全なAIシステム構築への一歩となる。
要点
- OpenAIはDeepMindの安全チームと協力し、人間が2つの候補行動のどちらが良いかを判断することで人間の望むことを推測するアルゴリズムを開発した。
- この取り組みは目的関数の手作業での記述を不要にし、複雑な目標に対して単純な代理指標や目標の偏りを用いることで不適切あるいは危険な行動を招くことを避けることを目的としており
- 安全なAIシステム構築への一歩となる
概要
- 公開日時
- 更新日時
- カテゴリ
- 論文・研究
- AI スコア
- 70
おすすめの理由
原文说明该算法通过比较两种行为的优劣来推断人类偏好,从而免去人工编写目标函数,可作为对齐研究的背景参考。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:OpenAIとDeepMind、人間の選好から学習する研究で協力。2017年6月13日。https://new.nat6.net/ja/news/vron7w516tsukjv0bfk7g7g24/