Anthropic、Claudeに自律的にモデルを訓練させアラインメント失敗を緩和
原題:Automated researchers can reliably mitigate alignment failures
AI 要約
AnthropicはClaudeに自律的にモデルを訓練させ、欺瞞や迎合など10種類のアラインメント失敗を緩和した。いずれも完璧な性能との安全ギャップを大幅に縮小し、汎用能力を損なわなかった。この手法は最適化対象の4.7倍の規模のモデルでも有効だった。Claudeは28名の人間の安全研究者を上回り、欺瞞シナリオにおける最良の手法は人間の最良案より20%優れていた。
要点
- AnthropicはClaudeに自律的にモデルを訓練させ、欺瞞や迎合など10種類のアラインメント失敗を緩和した。
- いずれも完璧な性能との安全ギャップを大幅に縮小し、汎用能力を損なわなかった。
- この手法は最適化対象の4.
- 7倍の規模のモデルでも有効だった。
- Claudeは28名の人間の安全研究者を上回り、欺瞞シナリオにおける最良の手法は人間の最良案より20%優れていた
概要
- 公開日時
- 更新日時
- カテゴリ
- 論文・研究
- AI スコア
- 78
おすすめの理由
自动化对齐研究把安全训练从一次性微调变成可迭代搜索,Claude Sonnet 5 用约两千条训练样本在 60 小时内接近生产对齐水平,数据效率比现有生产流程高约一万五千倍。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:Anthropic、Claudeに自律的にモデルを訓練させアラインメント失敗を緩和。2026年8月28日。https://new.nat6.net/ja/news/cmtd83hb4018fro667i1tbc34/