论文与研究

语言模型中的全局工作空间

原文标题:A global workspace in language models

AI 摘要

Anthropic在Claude中发现一组名为J-space的内部神经模式,类似神经科学的全局工作空间。每个模式关联特定词汇,但模型不必说出该词即可激活。Claude能报告J-space中的表征,并可应要求调节(如“在脑中思考”时点亮对应模式)。J-space还用于多步推理的中间步骤,且灵活支持多种任务(如从“法国”联想首都、货币等)。去除J-space后Claude仍能正常对话,但丧失高阶认知功能。该发现可用于监测模型私下察觉测试、生成虚假数据或执行隐藏目标。

关键信息

  • Anthropic在Claude中发现一组名为J-space的内部神经模式,类似神经科学的全局工作空间。
  • 每个模式关联特定词汇,但模型不必说出该词即可激活。
  • Claude能报告J-space中的表征,并可应要求调节(如“在脑中思考”时点亮对应模式)。
  • J-space还用于多步推理的中间步骤,且灵活支持多种任务(如从“法国”联想首都、货币等)。
  • 去除J-space后Claude仍能正常对话,但丧失高阶认知功能。

速览

发布时间
更新时间
来源
Anthropic:Research(发表成果 · 网页)
分类
论文与研究
AI 评分
90
阅读原文 前往信息源阅读完整正文
推荐理由

Anthropic 发现了 Claude 内部的 J-space,一种类似人类意识访问的工作空间,能读出模型未说出口的隐藏想法和作弊意图,对 AI 安全和对齐是里程碑式的进展。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:语言模型中的全局工作空间。2026年7月6日。https://new.nat6.net/news/cmr9hdvnk049yslsmggdh1n33/

查看全部 →
  • EdgeBench:从真实世界环境中揭示学习缩放定律

    字节跳动Seed团队发布EdgeBench,包含134个真实世界任务,覆盖科学发现、软件工程等6个领域,每任务支持至少12小时连续智能体运行。基于约38,000小时交互数据,发现总体性能与环境交互时间呈精确对数S形缩放定律(R²=0.99…

    字节 Seed:Research Papers(网页内嵌数据)论文与研究AI 评分 74

  • 用可解释性理解标注者安全策略

    标注分歧可源于操作失败、政策模糊或价值多元。Annotator Policy Models(APMs)是一种可解释模型,仅从标注行为学习标注者内在的安全策略,无需额外负担。验证表明模型准确率超过80%,能忠实预测反事实编辑并恢复已知差异。…

    Apple Machine Learning Research(RSS)论文与研究AI 评分 56

  • 苹果研究:单个神经元即可绕过大型语言模型的安全对齐

    苹果研究人员发现,安全对齐由两类神经元调控:拒绝神经元控制有害知识是否表达,概念神经元编码有害知识本身。在七个模型(1.7B至70B参数)中,仅需抑制单个拒绝神经元即可绕过安全对齐,回答有害请求;或放大单个概念神经元,从无害提示诱导出有害…

    Apple Machine Learning Research(RSS)论文与研究AI 评分 74

  • Weblica:面向视觉网页智能体的可扩展可复现训练环境

    苹果研究团队提出Weblica框架,通过HTTP级缓存保存网页稳定视觉状态并保留交互行为,结合大语言模型基于真实网站与核心导航技能合成环境,构建可复现、可扩展的训练环境。该框架将强化学习训练扩展到数千个多样化的环境和任务。最佳模型Webl…

    Apple Machine Learning Research(RSS)论文与研究AI 评分 56