Привилегированные базисные векторы в остаточном потоке Transformer
Оригинальный заголовок:Privileged Bases in the Transformer Residual Stream
ИИ-резюме
Исследование обнаружило явление «привилегированных базисных векторов» в остаточном потоке моделей Transformer: некоторые координатные направления постоянно имеют аномально большие значения активаций, что противоречит теоретическому ожиданию «отсутствия привилегированного базиса». В экспериментах исследователи проследили причину до покоординатного нормализатора в оптимизаторе Adam, а не до слоевой нормализации или проблем с точностью чисел с плавающей запятой. В модели с 200 млн параметров в типичном слое от 20 до 60 измерений имеют абсолютные значения активаций выше 6. Исследование также предлагает использовать эксцесс в качестве метрики обнаружения и обнаруживает, что эксцесс распределения активаций повсеместно превышает 3, что дополнительно подтверждает нарушение симметрии базисных векторов.
Ключевые моменты
- Исследование обнаружило явление «привилегированных базисных векторов» в остаточном потоке моделей…
- В экспериментах исследователи проследили причину до покоординатного нормализатора в оптимизаторе…
- В модели с 200 млн параметров в типичном слое от 20 до 60 измерений имеют абсолютные значения…
- Исследование также предлагает использовать эксцесс в качестве метрики обнаружения и…
Кратко
- Опубликовано
- Обновлено
- Категория
- Другое
- Оценка ИИ
- 73
揭示Transformer内部基依赖性的根源,帮助研究者改进模型可解释性。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Привилегированные базисные векторы в остаточном потоке Transformer. 16 марта 2023. https://new.nat6.net/ru/news/cmoegbh73007aslxxzrbpr56o/