论文与研究

OpenAI 用自动化红队训练提升 GPT-6 Astra 和 Sol 在高风险领域的模糊鲁棒性

原文标题:Improving Fuzzy Robustness in LLM Safety with Automated Red Teaming

AI 摘要

OpenAI 研究团队介绍如何用自动化红队提升模型在网络、生物等高风险双用途领域的模糊鲁棒性,通过扩大攻击者模型的测试时算力迭代搜索越狱,并要求攻击在多次重复测试中成功(worst@n),生成可靠的对抗训练数据用于 RL 训练。

关键信息

  • OpenAI 研究团队介绍如何用自动化红队提升模型在网络、生物等高风险双用途领域的模糊鲁棒性,通过扩大攻击者模型的测试时算力迭代搜索越狱
  • 并要求攻击在多次重复测试中成功(worst@n),生成可靠的对抗训练数据用于 RL 训练
  • OpenAI 自己披露的训练方法细节,展示了用自动化攻击生成数据提升模糊鲁棒性的可控实验和结果

速览

发布时间
更新时间
来源
OpenAI:Alignment 研究博客(RSS)
分类
论文与研究
主题
OpenAI / ChatGPT安全对齐
AI 评分
62
阅读原文 前往信息源阅读完整正文
推荐理由

OpenAI 自己披露的训练方法细节,展示了用自动化攻击生成数据提升模糊鲁棒性的可控实验和结果。

相关主题

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:OpenAI 用自动化红队训练提升 GPT-6 Astra 和 Sol 在高风险领域的模糊鲁棒性。2026年11月12日。https://new.nat6.net/news/yg97h3u5vthadivuv5po5f0aw/

查看全部 →