Rastreo de circuitos: revelar los grafos de cálculo en modelos de lenguaje
Título original:Circuit Tracing: Revealing Computational Graphs in Language Models
Resumen de IA
El equipo de investigación propone el método de "rastreo de circuitos" para revelar los mecanismos computacionales del comportamiento de los modelos de lenguaje. El método rastrea los pasos de cálculo en un modelo sustituto para generar grafos que describen el proceso de ejecución del modelo; el modelo sustituto aproxima la estructura original mediante componentes interpretables como transcodificadores entre capas. El equipo desarrolló herramientas de visualización y verificación para estudiar los grafos de atribución de comportamientos simples de un modelo de lenguaje de 18 capas, sentando las bases para investigaciones posteriores, y planea aplicarlo a Claude 3.5 Haiku. Las decisiones clave incluyen el uso de transcodificadores entre capas para extraer características y la construcción de grafos de atribución de interacciones lineales entre características.
Puntos clave
- El equipo de investigación propone el método de "rastreo de circuitos" para revelar los mecanismos…
- El método rastrea los pasos de cálculo en un modelo sustituto para generar grafos que describen el…
- el modelo sustituto aproxima la estructura original mediante componentes interpretables como…
- El equipo desarrolló herramientas de visualización y verificación para estudiar los grafos de…
- 5 Haiku.
Resumen rápido
- Publicado
- Actualizado
- Categoría
- Otros
- Puntuación IA
- 76
揭示大模型内部机制,为AI安全与调试提供新工具。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Rastreo de circuitos: revelar los grafos de cálculo en modelos de lenguaje. 27. marzo 2025. https://new.nat6.net/es/news/cmoegbh73006pslxxkpwgqif7/