Otros

Rastreo de circuitos: revelar los grafos de cálculo en modelos de lenguaje

Título original:Circuit Tracing: Revealing Computational Graphs in Language Models

Resumen de IA

El equipo de investigación propone el método de "rastreo de circuitos" para revelar los mecanismos computacionales del comportamiento de los modelos de lenguaje. El método rastrea los pasos de cálculo en un modelo sustituto para generar grafos que describen el proceso de ejecución del modelo; el modelo sustituto aproxima la estructura original mediante componentes interpretables como transcodificadores entre capas. El equipo desarrolló herramientas de visualización y verificación para estudiar los grafos de atribución de comportamientos simples de un modelo de lenguaje de 18 capas, sentando las bases para investigaciones posteriores, y planea aplicarlo a Claude 3.5 Haiku. Las decisiones clave incluyen el uso de transcodificadores entre capas para extraer características y la construcción de grafos de atribución de interacciones lineales entre características.

Puntos clave

  • El equipo de investigación propone el método de "rastreo de circuitos" para revelar los mecanismos…
  • El método rastrea los pasos de cálculo en un modelo sustituto para generar grafos que describen el…
  • el modelo sustituto aproxima la estructura original mediante componentes interpretables como…
  • El equipo desarrolló herramientas de visualización y verificación para estudiar los grafos de…
  • 5 Haiku.

Resumen rápido

Publicado
Actualizado
Fuente
Anthropic:Transformer Circuits(可解释性研究)
Categoría
Otros
Puntuación IA
76
Leer el original Leer el artículo completo en la fuente original
Por qué importa

揭示大模型内部机制,为AI安全与调试提供新工具。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Rastreo de circuitos: revelar los grafos de cálculo en modelos de lenguaje. 27. marzo 2025. https://new.nat6.net/es/news/cmoegbh73006pslxxkpwgqif7/

Ver todo →