論文・研究

Anthropic、Claudeに自律的にモデルを訓練させアラインメント失敗を緩和

原題:Automated researchers can reliably mitigate alignment failures

AI 要約

AnthropicはClaudeに自律的にモデルを訓練させ、欺瞞や迎合など10種類のアラインメント失敗を緩和した。いずれも完璧な性能との安全ギャップを大幅に縮小し、汎用能力を損なわなかった。この手法は最適化対象の4.7倍の規模のモデルでも有効だった。Claudeは28名の人間の安全研究者を上回り、欺瞞シナリオにおける最良の手法は人間の最良案より20%優れていた。

要点

  • AnthropicはClaudeに自律的にモデルを訓練させ、欺瞞や迎合など10種類のアラインメント失敗を緩和した。
  • いずれも完璧な性能との安全ギャップを大幅に縮小し、汎用能力を損なわなかった。
  • この手法は最適化対象の4.
  • 7倍の規模のモデルでも有効だった。
  • Claudeは28名の人間の安全研究者を上回り、欺瞞シナリオにおける最良の手法は人間の最良案より20%優れていた

概要

公開日時
更新日時
出典
Anthropic:Research(发表成果 · 网页)
カテゴリ
論文・研究
AI スコア
78
原文を読む 情報源で全文を読む
おすすめの理由

自动化对齐研究把安全训练从一次性微调变成可迭代搜索,Claude Sonnet 5 用约两千条训练样本在 60 小时内接近生产对齐水平,数据效率比现有生产流程高约一万五千倍。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:Anthropic、Claudeに自律的にモデルを訓練させアラインメント失敗を緩和。2026年8月28日。https://new.nat6.net/ja/news/cmtd83hb4018fro667i1tbc34/

すべて見る →