OpenAI entrena y despliega clasificadores de activaciones como capa de seguridad para modelos frontera
Título original:Training activation classifiers for safety and alignment
Resumen de IA
Desde GPT-5.6, OpenAI despliega clasificadores de activaciones (probes) en el tráfico interno y externo de sus modelos más potentes; utilizan las activaciones internas del modelo para puntuar cada token en tiempo real y pueden bloquear respuestas y llamadas a herramientas que infrinjan las normas a mitad de generación, remitiéndolas a un modelo de razonamiento para su revisión. Los experimentos muestran que los probes son más robustos que clasificadores de texto mayores frente a los ataques de jailbreak probados, mejoran su precisión con la capacidad del modelo y se transfieren bien entre puntos de control del postentrenamiento, pero requieren reentrenamiento para nuevos modelos base y solo detectan tipos de infracción conocidos que puedan entrenarse explícitamente.
Puntos clave
- Desde GPT-5.
- 6,OpenAI despliega clasificadores de activaciones (probes) en el tráfico interno y externo de sus…
- utilizan las activaciones internas del modelo para puntuar cada token en tiempo real y pueden…
- Los experimentos muestran que los probes son más robustos que clasificadores de texto mayores…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- OpenAI:Alignment 研究博客(RSS)
- Categoría
- Artículos e investigación
- Puntuación IA
- 63
OpenAI 官方披露激活分类器的架构、训练与部署细节,并给出其相对文本分类器在越狱鲁棒性上的实验对比。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: OpenAI entrena y despliega clasificadores de activaciones como capa de seguridad para modelos frontera. 3. noviembre 2026. https://new.nat6.net/es/news/wlmiqh13694tqabyvu6nzvlrs/