Artículos e investigación

OpenAI entrena y despliega clasificadores de activaciones como capa de seguridad para modelos frontera

Título original:Training activation classifiers for safety and alignment

Resumen de IA

Desde GPT-5.6, OpenAI despliega clasificadores de activaciones (probes) en el tráfico interno y externo de sus modelos más potentes; utilizan las activaciones internas del modelo para puntuar cada token en tiempo real y pueden bloquear respuestas y llamadas a herramientas que infrinjan las normas a mitad de generación, remitiéndolas a un modelo de razonamiento para su revisión. Los experimentos muestran que los probes son más robustos que clasificadores de texto mayores frente a los ataques de jailbreak probados, mejoran su precisión con la capacidad del modelo y se transfieren bien entre puntos de control del postentrenamiento, pero requieren reentrenamiento para nuevos modelos base y solo detectan tipos de infracción conocidos que puedan entrenarse explícitamente.

Puntos clave

  • Desde GPT-5.
  • 6,OpenAI despliega clasificadores de activaciones (probes) en el tráfico interno y externo de sus…
  • utilizan las activaciones internas del modelo para puntuar cada token en tiempo real y pueden…
  • Los experimentos muestran que los probes son más robustos que clasificadores de texto mayores…

Resumen rápido

Publicado
Actualizado
Fuente
OpenAI:Alignment 研究博客(RSS)
Categoría
Artículos e investigación
Tema
OpenAI / ChatGPTSeguridad y alineación
Puntuación IA
63
Leer el original Leer el artículo completo en la fuente original
Por qué importa

OpenAI 官方披露激活分类器的架构、训练与部署细节,并给出其相对文本分类器在越狱鲁棒性上的实验对比。

Temas

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: OpenAI entrena y despliega clasificadores de activaciones como capa de seguridad para modelos frontera. 3. noviembre 2026. https://new.nat6.net/es/news/wlmiqh13694tqabyvu6nzvlrs/

Ver todo →