Другое

Выводы из анализа различий моделей с помощью Crosscoder

Оригинальный заголовок:Insights on Crosscoder Model Diffing

ИИ-резюме

В анализе различий моделей с помощью Crosscoder команда интерпретируемости Anthropic обнаружила, что эксклюзивные признаки моделей часто полисемантичны, плотно активируются и трудно объяснимы. Эксперименты показывают, что причина — конкуренция при ограниченной ёмкости признаков: общие признаки объясняют активации обеих моделей, а эксклюзивным приходится кодировать больше информации, чтобы оправдать существование. Предложен способ смягчения: ввести небольшое число заданных общих признаков и снизить для них штраф за разреженность, чтобы эксклюзивные признаки стали более интерпретируемыми и моносемантичными. При применении к реальным моделям метод позволил выделить интерпретируемые признаки, отражающие поведенческие различия моделей. Кроме того, эксклюзивные признаки активируются на порядок чаще общих, а число эксклюзивных признаков у двух моделей сопоставимо.

Ключевые моменты

  • В анализе различий моделей с помощью Crosscoder команда интерпретируемости Anthropic…
  • Эксперименты показывают,что причина — конкуренция при ограниченной ёмкости признаков: общие…
  • Предложен способ смягчения: ввести небольшое число заданных общих признаков и снизить для них…
  • При применении к реальным моделям метод позволил выделить интерпретируемые признаки,отражающие…
  • Кроме того,эксклюзивные признаки активируются на порядок чаще общих,а число эксклюзивных признаков…

Кратко

Опубликовано
Обновлено
Источник
Anthropic:Transformer Circuits(可解释性研究)
Категория
Другое
Оценка ИИ
78
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

为 AI 可解释性提供新视角,助力模型行为分析与安全研究。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Выводы из анализа различий моделей с помощью Crosscoder. 15 июня 2025. https://new.nat6.net/ru/news/cmoegbh73006qslxx90ouy6kj/

Смотреть все →