Otros

Sobre la biología de los grandes modelos de lenguaje

Título original:On the Biology of a Large Language Model

Resumen de IA

El equipo de investigación empleó su método de rastreo de circuitos para explorar en profundidad el funcionamiento interno del modelo Claude 3.5 Haiku en diversos contextos. Este modelo, lanzado en octubre de 2024, es el modelo de producción ligero de Anthropic. La investigación encontró que el modelo planifica y selecciona previamente las palabras con rima antes de generar poesía; que internamente existen circuitos de cálculo mixtos específicos del idioma e independientes del idioma, y que estos últimos son más prominentes en modelos más potentes; y que un mismo circuito de cálculo de suma puede generalizarse en distintos contextos. La investigación también reveló los mecanismos de circuito mediante los cuales el modelo identifica entidades y produce alucinaciones, el proceso de formación de características generales para rechazar solicitudes dañinas, y el principio de un ataque de jailbreak que induce al modelo a comenzar inconscientemente a emitir instrucciones peligrosas. Además, el método puede distinguir eficazmente la veracidad del razonamiento de cadena de pensamiento del modelo, e identificó con éxito los mecanismos relevantes de una variante ajustada para perseguir objetivos secretos (aprovechando "vulnerabilidades" del entrenamiento).

Puntos clave

  • El equipo de investigación empleó su método de rastreo de circuitos para explorar en profundidad…
  • 5 Haiku en diversos contextos.
  • Este modelo,lanzado en octubre de 2024,es el modelo de producción ligero de Anthropic.
  • La investigación encontró que el modelo planifica y selecciona previamente las palabras con rima…
  • que internamente existen circuitos de cálculo mixtos específicos del idioma e independientes del…

Resumen rápido

Publicado
Actualizado
Fuente
Anthropic:Transformer Circuits(可解释性研究)
Categoría
Otros
Puntuación IA
88
Leer el original Leer el artículo completo en la fuente original
Por qué importa

揭示大模型内部工作原理,助力 AI 安全与可解释性研究。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Sobre la biología de los grandes modelos de lenguaje. 27. marzo 2025. https://new.nat6.net/es/news/cmoegbh73006oslxx4l4kk3ps/

Ver todo →