論文・研究

解釈可能性でアノテーターの安全ポリシーを理解する

原題:Understanding Annotator Safety Policy with Interpretability

AI 要約

アノテーションの不一致は、操作ミス、ポリシーの曖昧さ、価値の多様性に起因しうる。Annotator Policy Models(APM)は、アノテーション行為のみからアノテーターの内在する安全ポリシーを学習する解釈可能なモデルで、追加の負担を必要としない。検証によりモデルの精度は80%を超え、反事実的編集を忠実に予測し、既知の差異を回復できることが示された。APMをLLMと人間のアノテーターに適用すると、安全指示の解釈におけるアノテーター間の差異(ポリシーの曖昧さ)や、安全の優先順位における人口集団間の系統的差異(価値の多様性)が明らかになり、より的を絞った透明で包摂的な安全ポリシー設計を支援する。

要点

  • アノテーションの不一致は、操作ミス、ポリシーの曖昧さ、価値の多様性に起因しうる。
  • Annotator Policy Models(APM)は、アノテーション行為のみからアノテーターの内在する安全ポリシーを学習する解釈可能なモデルで、追加の負担を必要としない。
  • 検証によりモデルの精度は80%を超え、反事実的編集を忠実に予測し、既知の差異を回復できることが示された。
  • APMをLLMと人間のアノテーターに適用すると、安全指示の解釈におけるアノテーター間の差異(ポリシーの曖昧さ)や、安全の優先順位における人口集団間の系統的差異(価値の多様性)が明らかになり、より的を…

概要

公開日時
更新日時
出典
Apple Machine Learning Research(RSS)
カテゴリ
論文・研究
AI スコア
56
原文を読む 情報源で全文を読む
おすすめの理由

我觉得 APMs 把标注分歧的根源从「猜」变成了「看」,对安全团队澄清政策模糊和价值观差异挺有实操价值,代码也给了,做对齐的可以上手试。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:解釈可能性でアノテーターの安全ポリシーを理解する。2026年7月6日。https://new.nat6.net/ja/news/cmr9jb1wn007eihe8jhd6zhrj/

すべて見る →