教程与技巧

冻结大语言模型隐藏状态中仍存可读行为信号,新技术大幅提升准确性

原文标题:Frozen LLMs still carry readable behavior signals deep inside their hidden states. And Propriocepti...

AI 摘要

Proprioceptive AI开发的Cygnus技术,通过为冻结的大语言模型添加自感知适配器,使其能读取内部认知几何。该技术将模型的隐藏状态投影到由gl(4,R)李代数定义的数学空间,分离出包含主要精度信号的“暗模式”,从而无需重新训练即可显著提升模型性能。例如,仅用一张RTX 3090显卡,就将Qwen-32B在ARC-Challenge基准上的准确率从82.2%提升至94.97%。其适配器将覆盖从3B到405B的多款模型,服务节点可支持5万用户并发,预计本周末上线。相关设计论文已公开。

关键信息

  • Proprioceptive AI开发的Cygnus技术,通过为冻结的大语言模型添加自感知适配器,使其能读取内部认知几何。
  • 该技术将模型的隐藏状态投影到由gl(4,R)李代数定义的数学空间,分离出包含主要精度信号的“暗模式”,从而无需重新训练即可显著提升模型性能。
  • 例如,仅用一张RTX 3090显卡,就将Qwen-32B在ARC-Challenge基准上的准确率从82.
  • 2%提升至94.
  • 其适配器将覆盖从3B到405B的多款模型,服务节点可支持5万用户并发,预计本周末上线。

速览

发布时间
更新时间
来源
X:Rohan Paul (@rohanpaul_ai)
分类
教程与技巧
AI 评分
77
阅读原文 前往信息源阅读完整正文
推荐理由

用Lie代数揪出模型内部的“黑暗模式”,在ARC上狂涨12个点还只要一张3090,如果真能泛化到其他任务,这或许是今年最巧妙的模型增强方案,但单基准提升仍需更多验证。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:冻结大语言模型隐藏状态中仍存可读行为信号,新技术大幅提升准确性。2026年5月8日。https://new.nat6.net/news/cmovw0m8j00s3slcxklzwwqpj/

查看全部 →
  • Agent pull requests 无处不在:如何审查它们

    这份指南提供了审查由AI代理生成的pull requests的实用方法,重点包括审查时应关注的代码变更点、问题常见隐藏位置(如逻辑错误或安全漏洞),以及如何在代码合并前捕捉技术债务。它通过具体步骤帮助开发者系统评估自动化提交,确保代码质量…

    GitHub Blog教程与技巧AI 评分 79

  • 提升 GitHub Agentic Workflows 的 Token 使用效率

    GitHub 发现运行于每个拉取请求的智能体工作流会累积高昂的 API 成本。团队通过监测自身生产工作流,定位了效率低下的环节,并构建了专门的智能体进行优化。这一举措旨在显著降低由大语言模型调用产生的 Token 消耗与相关费用,直接提升…

    GitHub Blog教程与技巧AI 评分 72

  • GitHub Repo Stats

    作者开发了一个名为“GitHub Repo Stats”的在线工具,用于解决GitHub移动端网站不显示仓库提交次数的问题。用户只需输入GitHub仓库的URL或“foo/bar”格式的仓库ID,该工具便会通过REST或GraphQL A…

    Simon Willison 博客教程与技巧AI 评分 78

  • GPT实时模型提示指南发布

    正在用GPT-Realtime-2构建语音应用? 我们的新提示指南涵盖如何调整推理强度、使用前导说明、设计工具行为、处理不清晰音频、准确捕获实体,以及在长会话中保持状态。 https://developers.openai.com/api…

    X:OpenAI Developers (@OpenAIDevs)教程与技巧AI 评分 76

  • Validating agentic behavior when “correct” isn’t deterministic

    GitHub 探讨如何为 Copilot 编码智能体构建“信任层”。文章提出,在“正确”答案非确定性的场景下,可通过领域分析来验证智能体的自主行为,避免使用脆弱的脚本或黑盒判断。该方法旨在提升 AI 编码助手的可靠性与透明度,确保其行为符…

    GitHub Blog教程与技巧AI 评分 56