冻结大语言模型隐藏状态中仍存可读行为信号,新技术大幅提升准确性
原文标题:Frozen LLMs still carry readable behavior signals deep inside their hidden states. And Propriocepti...
AI 摘要
Proprioceptive AI开发的Cygnus技术,通过为冻结的大语言模型添加自感知适配器,使其能读取内部认知几何。该技术将模型的隐藏状态投影到由gl(4,R)李代数定义的数学空间,分离出包含主要精度信号的“暗模式”,从而无需重新训练即可显著提升模型性能。例如,仅用一张RTX 3090显卡,就将Qwen-32B在ARC-Challenge基准上的准确率从82.2%提升至94.97%。其适配器将覆盖从3B到405B的多款模型,服务节点可支持5万用户并发,预计本周末上线。相关设计论文已公开。
关键信息
- Proprioceptive AI开发的Cygnus技术,通过为冻结的大语言模型添加自感知适配器,使其能读取内部认知几何。
- 该技术将模型的隐藏状态投影到由gl(4,R)李代数定义的数学空间,分离出包含主要精度信号的“暗模式”,从而无需重新训练即可显著提升模型性能。
- 例如,仅用一张RTX 3090显卡,就将Qwen-32B在ARC-Challenge基准上的准确率从82.
- 2%提升至94.
- 其适配器将覆盖从3B到405B的多款模型,服务节点可支持5万用户并发,预计本周末上线。
速览
- 发布时间
- 更新时间
- 分类
- 教程与技巧
- AI 评分
- 77
推荐理由
用Lie代数揪出模型内部的“黑暗模式”,在ARC上狂涨12个点还只要一张3090,如果真能泛化到其他任务,这或许是今年最巧妙的模型增强方案,但单基准提升仍需更多验证。
相关实体
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:冻结大语言模型隐藏状态中仍存可读行为信号,新技术大幅提升准确性。2026年5月8日。https://new.nat6.net/news/cmovw0m8j00s3slcxklzwwqpj/