论文与研究

公开聊天数据能否预测真实世界AI失调?

原文标题:Can public chat data predict real-world AI misalignments?

AI 摘要

OpenAI利用WildChat公开数据集(2023年4月至2024年5月收集的100万条对话)模拟模型部署,预测GPT-5.1、GPT-5.2、GPT-5.4在真实生产环境中的不良行为率。与私有生产数据对比发现,WildChat模拟的平均预测误差约3倍;但对技术性和智能体型失调的预测精度下降。研究验证了公开数据集作为外部审计工具的可行性。

关键信息

  • OpenAI利用WildChat公开数据集(2023年4月至2024年5月收集的100万条对话)模拟模型部署,预测GPT-5.
  • 4在真实生产环境中的不良行为率。
  • 与私有生产数据对比发现,WildChat模拟的平均预测误差约3倍
  • 但对技术性和智能体型失调的预测精度下降。
  • 研究验证了公开数据集作为外部审计工具的可行性

速览

发布时间
更新时间
来源
OpenAI:Alignment 研究博客(RSS)
分类
论文与研究
AI 评分
73
阅读原文 前往信息源阅读完整正文
推荐理由

用公开旧聊天数据预测模型真实失败率,误差居然在 3 倍以内,做外部审计的可以认真看看。不过 agentic 场景明显不行,需要新数据集。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:公开聊天数据能否预测真实世界AI失调?。2026年6月17日。https://new.nat6.net/news/cmqh269tl004esle1vztceb34/

查看全部 →