Другое

Игрушечная модель механистической (не)верности

Оригинальный заголовок:A Toy Model of Mechanistic (Un)Faithfulness

ИИ-резюме

На игрушечной модели «абсолютной величины» статья показывает проблему «механистической неверности» разреженных автоэнкодеров (SAE) и транскодеров при объяснении нейросетей. Суть в том, что даже если транскодер хорошо приближает отображение вход-выход модели, он может использовать совершенно иной внутренний механизм вычислений. Авторы отмечают: при наличии повторяющихся точек в обучающих данных транскодер может сформировать схему признаков, специально «запоминающую» эту точку, хотя у исходной модели такого механизма нет. Такое расхождение механизмов может привести к различиям в обобщении на данных вне распределения и подорвать доверие к механистической интерпретируемости. В конце кратко обсуждаются возможные способы смягчения, включая «согласование якобиана».

Ключевые моменты

  • На игрушечной модели «абсолютной величины» статья показывает проблему «механистической неверности»…
  • Суть в том,что даже если транскодер хорошо приближает отображение вход-выход модели,он может…
  • Авторы отмечают: при наличии повторяющихся точек в обучающих данных транскодер может сформировать…
  • Такое расхождение механизмов может привести к различиям в обобщении на данных вне распределения и…
  • В конце кратко обсуждаются возможные способы смягчения,включая «согласование якобиана».

Кратко

Опубликовано
Обновлено
Источник
Anthropic:Transformer Circuits(可解释性研究)
Категория
Другое
Оценка ИИ
78
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

揭示可解释性方法中潜在的忠实性问题,帮助开发者更可靠地理解模型内部机制。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Игрушечная модель механистической (не)верности. 15 июня 2025. https://new.nat6.net/ru/news/cmoegbh73006hslxxvorookrt/

Смотреть все →