Статьи и исследования

Понимание политик безопасности аннотаторов через интерпретируемость

Оригинальный заголовок:Understanding Annotator Safety Policy with Interpretability

ИИ-резюме

Разногласия аннотаторов могут возникать из-за операционных ошибок, неоднозначности политик или ценностного плюрализма. Annotator Policy Models (APMs) — интерпретируемые модели, которые учатся внутренней политике безопасности аннотатора только по его поведению при аннотировании, без дополнительной нагрузки. Проверка показала точность выше 80%, модели достоверно предсказывают контрфактические правки и восстанавливают известные различия. Применение APMs к LLM и людям-аннотаторам выявляет различия в трактовке инструкций безопасности (неоднозначность политик) и систематические различия в приоритетах безопасности между демографическими группами (ценностный плюрализм), что поддерживает более адресный, прозрачный и инклюзивный дизайн политик безопасности.

Ключевые моменты

  • Разногласия аннотаторов могут возникать из-за операционных ошибок,неоднозначности политик или…
  • Annotator Policy Models (APMs) — интерпретируемые модели,которые учатся внутренней политике…
  • Проверка показала точность выше 80%,модели достоверно предсказывают контрфактические правки и…
  • Применение APMs к LLM и людям-аннотаторам выявляет различия в трактовке инструкций безопасности…

Кратко

Опубликовано
Обновлено
Источник
Apple Machine Learning Research(RSS)
Категория
Статьи и исследования
Оценка ИИ
56
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

我觉得 APMs 把标注分歧的根源从「猜」变成了「看」,对安全团队澄清政策模糊和价值观差异挺有实操价值,代码也给了,做对齐的可以上手试。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Понимание политик безопасности аннотаторов через интерпретируемость. 6 июля 2026. https://new.nat6.net/ru/news/cmr9jb1wn007eihe8jhd6zhrj/

Смотреть все →