Los estados ocultos de los grandes modelos de lenguaje congelados conservan señales de comportamiento legibles; una nueva técnica mejora notablemente la precisión
Título original:Frozen LLMs still carry readable behavior signals deep inside their hidden states. And Propriocepti...
Resumen de IA
La tecnología Cygnus, desarrollada por Proprioceptive AI, añade adaptadores de autopercepción a grandes modelos de lenguaje congelados para que puedan leer su geometría cognitiva interna. La técnica proyecta los estados ocultos del modelo en un espacio matemático definido por el álgebra de Lie gl(4,R) y separa un «modo oscuro» que contiene la principal señal de precisión, lo que mejora notablemente el rendimiento del modelo sin reentrenamiento. Por ejemplo, con una sola tarjeta RTX 3090, la precisión de Qwen-32B en el benchmark ARC-Challenge pasó del 82,2 % al 94,97 %. Sus adaptadores cubrirán varios modelos, de 3B a 405B, y los nodos de servicio podrán soportar 50.000 usuarios concurrentes; está previsto que se lance este fin de semana. El artículo de diseño correspondiente ya es público.
Puntos clave
- La tecnología Cygnus,desarrollada por Proprioceptive AI,añade adaptadores de autopercepción a…
- La técnica proyecta los estados ocultos del modelo en un espacio matemático definido por el…
- Por ejemplo,con una sola tarjeta RTX 3090,la precisión de Qwen-32B en el benchmark ARC-Challenge…
- Sus adaptadores cubrirán varios modelos,de 3B a 405B,y los nodos de servicio podrán soportar 50.
- 000 usuarios concurrentes
Resumen rápido
- Publicado
- Actualizado
- Fuente
- X:Rohan Paul (@rohanpaul_ai)
- Categoría
- Tutoriales y consejos
- Puntuación IA
- 77
用Lie代数揪出模型内部的“黑暗模式”,在ARC上狂涨12个点还只要一张3090,如果真能泛化到其他任务,这或许是今年最巧妙的模型增强方案,但单基准提升仍需更多验证。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Los estados ocultos de los grandes modelos de lenguaje congelados conservan señales de comportamiento legibles; una nueva técnica mejora notablemente la precisión. 8. mayo 2026. https://new.nat6.net/es/news/cmovw0m8j00s3slcxklzwwqpj/