Otros

Vectores base privilegiados en el flujo residual de Transformer

Título original:Privileged Bases in the Transformer Residual Stream

Resumen de IA

La investigación encontró un fenómeno de «vectores base privilegiados» en el flujo residual de los modelos Transformer: ciertas direcciones de coordenadas presentan de forma persistente valores de activación anormalmente grandes, lo que contradice la expectativa teórica de una «base sin privilegios». Mediante experimentos, los investigadores atribuyeron la causa al normalizador por dimensión del optimizador Adam, y no a la normalización de capas ni a problemas de precisión de punto flotante. En un modelo de 200 millones de parámetros, una capa típica tiene entre 20 y 60 dimensiones con valores absolutos de activación superiores a 6. El estudio también propone usar la curtosis como indicador de detección, y encontró que la curtosis de la distribución de activaciones es generalmente mayor que 3, lo que confirma aún más la ruptura de la simetría de los vectores base.

Puntos clave

  • La investigación encontró un fenómeno de «vectores base privilegiados» en el flujo residual de los…
  • Mediante experimentos,los investigadores atribuyeron la causa al normalizador por dimensión del…
  • En un modelo de 200 millones de parámetros,una capa típica tiene entre 20 y 60 dimensiones con…
  • El estudio también propone usar la curtosis como indicador de detección,y encontró que la curtosis…

Resumen rápido

Publicado
Actualizado
Fuente
Anthropic:Transformer Circuits(可解释性研究)
Categoría
Otros
Puntuación IA
73
Leer el original Leer el artículo completo en la fuente original
Por qué importa

揭示Transformer内部基依赖性的根源,帮助研究者改进模型可解释性。

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Vectores base privilegiados en el flujo residual de Transformer. 16. marzo 2023. https://new.nat6.net/es/news/cmoegbh73007aslxxzrbpr56o/

Ver todo →