Другое

Привилегированные базисные векторы в остаточном потоке Transformer

Оригинальный заголовок:Privileged Bases in the Transformer Residual Stream

ИИ-резюме

Исследование обнаружило явление «привилегированных базисных векторов» в остаточном потоке моделей Transformer: некоторые координатные направления постоянно имеют аномально большие значения активаций, что противоречит теоретическому ожиданию «отсутствия привилегированного базиса». В экспериментах исследователи проследили причину до покоординатного нормализатора в оптимизаторе Adam, а не до слоевой нормализации или проблем с точностью чисел с плавающей запятой. В модели с 200 млн параметров в типичном слое от 20 до 60 измерений имеют абсолютные значения активаций выше 6. Исследование также предлагает использовать эксцесс в качестве метрики обнаружения и обнаруживает, что эксцесс распределения активаций повсеместно превышает 3, что дополнительно подтверждает нарушение симметрии базисных векторов.

Ключевые моменты

  • Исследование обнаружило явление «привилегированных базисных векторов» в остаточном потоке моделей…
  • В экспериментах исследователи проследили причину до покоординатного нормализатора в оптимизаторе…
  • В модели с 200 млн параметров в типичном слое от 20 до 60 измерений имеют абсолютные значения…
  • Исследование также предлагает использовать эксцесс в качестве метрики обнаружения и…

Кратко

Опубликовано
Обновлено
Источник
Anthropic:Transformer Circuits(可解释性研究)
Категория
Другое
Оценка ИИ
73
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

揭示Transformer内部基依赖性的根源,帮助研究者改进模型可解释性。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Привилегированные базисные векторы в остаточном потоке Transformer. 16 марта 2023. https://new.nat6.net/ru/news/cmoegbh73007aslxxzrbpr56o/

Смотреть все →