公开聊天数据能否预测真实世界AI失调?
原文标题:Can public chat data predict real-world AI misalignments?
AI 摘要
OpenAI利用WildChat公开数据集(2023年4月至2024年5月收集的100万条对话)模拟模型部署,预测GPT-5.1、GPT-5.2、GPT-5.4在真实生产环境中的不良行为率。与私有生产数据对比发现,WildChat模拟的平均预测误差约3倍;但对技术性和智能体型失调的预测精度下降。研究验证了公开数据集作为外部审计工具的可行性。
关键信息
- OpenAI利用WildChat公开数据集(2023年4月至2024年5月收集的100万条对话)模拟模型部署,预测GPT-5.
- 4在真实生产环境中的不良行为率。
- 与私有生产数据对比发现,WildChat模拟的平均预测误差约3倍
- 但对技术性和智能体型失调的预测精度下降。
- 研究验证了公开数据集作为外部审计工具的可行性
速览
- 发布时间
- 更新时间
- 分类
- 论文与研究
- AI 评分
- 73
推荐理由
用公开旧聊天数据预测模型真实失败率,误差居然在 3 倍以内,做外部审计的可以认真看看。不过 agentic 场景明显不行,需要新数据集。
相关实体
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:公开聊天数据能否预测真实世界AI失调?。2026年6月17日。https://new.nat6.net/news/cmqh269tl004esle1vztceb34/