論文・研究

公開チャットデータは実世界のAI不調を予測できるか

原題:Can public chat data predict real-world AI misalignments?

AI 要約

OpenAIはWildChat公開データセット(2023年4月〜2024年5月に収集された100万件の会話)を用いてモデルデプロイを模擬し、GPT-5.1、GPT-5.2、GPT-5.4の実生産環境における不良行為率を予測した。非公開の生産データと比較した結果、WildChat模擬の平均予測誤差は約3倍だったが、技術的・エージェント型の不調の予測精度は低下した。研究は公開データセットが外部監査ツールとして実現可能であることを検証した。

要点

  • OpenAIはWildChat公開データセット(2023年4月〜2024年5月に収集された100万件の会話)を用いてモデルデプロイを模擬し、GPT-5.
  • 4の実生産環境における不良行為率を予測した。
  • 非公開の生産データと比較した結果、WildChat模擬の平均予測誤差は約3倍だったが、技術的・エージェント型の不調の予測精度は低下した。
  • 研究は公開データセットが外部監査ツールとして実現可能であることを検証した

概要

公開日時
更新日時
出典
OpenAI:Alignment 研究博客(RSS)
カテゴリ
論文・研究
AI スコア
73
原文を読む 情報源で全文を読む
おすすめの理由

用公开旧聊天数据预测模型真实失败率,误差居然在 3 倍以内,做外部审计的可以认真看看。不过 agentic 场景明显不行,需要新数据集。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:公開チャットデータは実世界のAI不調を予測できるか。2026年6月17日。https://new.nat6.net/ja/news/cmqh269tl004esle1vztceb34/

すべて見る →