Vectores base privilegiados en el flujo residual de Transformer
Título original:Privileged Bases in the Transformer Residual Stream
Resumen de IA
La investigación encontró un fenómeno de «vectores base privilegiados» en el flujo residual de los modelos Transformer: ciertas direcciones de coordenadas presentan de forma persistente valores de activación anormalmente grandes, lo que contradice la expectativa teórica de una «base sin privilegios». Mediante experimentos, los investigadores atribuyeron la causa al normalizador por dimensión del optimizador Adam, y no a la normalización de capas ni a problemas de precisión de punto flotante. En un modelo de 200 millones de parámetros, una capa típica tiene entre 20 y 60 dimensiones con valores absolutos de activación superiores a 6. El estudio también propone usar la curtosis como indicador de detección, y encontró que la curtosis de la distribución de activaciones es generalmente mayor que 3, lo que confirma aún más la ruptura de la simetría de los vectores base.
Puntos clave
- La investigación encontró un fenómeno de «vectores base privilegiados» en el flujo residual de los…
- Mediante experimentos,los investigadores atribuyeron la causa al normalizador por dimensión del…
- En un modelo de 200 millones de parámetros,una capa típica tiene entre 20 y 60 dimensiones con…
- El estudio también propone usar la curtosis como indicador de detección,y encontró que la curtosis…
Resumen rápido
- Publicado
- Actualizado
- Categoría
- Otros
- Puntuación IA
- 73
揭示Transformer内部基依赖性的根源,帮助研究者改进模型可解释性。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Vectores base privilegiados en el flujo residual de Transformer. 16. marzo 2023. https://new.nat6.net/es/news/cmoegbh73007aslxxzrbpr56o/