其他

当模型操纵流形:一项计数任务的几何原理

原文标题:When Models Manipulate Manifolds: The Geometry of a Counting Task

AI 摘要

本研究探讨了Claude 3.5 Haiku等语言模型如何从纯文本中学习类似生物感知的空间推理能力,以完成固定宽度文本的自动换行任务。模型通过两种对偶机制表征位置信息:离散特征激活与特征流形上的几何变换。具体而言,它通过追踪当前行字符数、行宽限制等变量,整合信息以估算剩余空间,从而决定是否换行。研究发现,这些计数表征存在于残差流的低维高曲率一维流形上,其计算过程既可解读为离散电路,也可视为连续的几何变换。

关键信息

  • 本研究探讨了Claude 3.
  • 5 Haiku等语言模型如何从纯文本中学习类似生物感知的空间推理能力,以完成固定宽度文本的自动换行任务。
  • 模型通过两种对偶机制表征位置信息:离散特征激活与特征流形上的几何变换。
  • 具体而言,它通过追踪当前行字符数、行宽限制等变量,整合信息以估算剩余空间,从而决定是否换行。
  • 研究发现,这些计数表征存在于残差流的低维高曲率一维流形上,其计算过程既可解读为离散电路,也可视为连续的几何变换

速览

发布时间
更新时间
来源
Anthropic:Transformer Circuits(可解释性研究)
分类
其他
AI 评分
78
阅读原文 前往信息源阅读完整正文
推荐理由

模型内部自发形成类似哺乳动物空间感知的几何表征,揭示大模型'感知'世界的底层机制

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:当模型操纵流形:一项计数任务的几何原理。2025年6月15日。https://new.nat6.net/news/cmoegbh73006eslxxrzfnvgyo/

查看全部 →
  • 一个关于机制(非)忠实性的玩具模型

    本文通过“绝对值”玩具模型,揭示了稀疏自动编码器(SAE)和转码器在解释神经网络时可能存在的“机制非忠实性”问题。核心在于,即使转码器能很好地近似模型的输入-输出映射,它也可能采用与原始模型完全不同的内部计算机制。作者特别指出,当训练数据…

    Anthropic:Transformer Circuits(可解释性研究)其他AI 评分 78

  • 干扰权重的玩具模型研究

    本文探讨神经网络中“干扰权重”与“权重叠加”现象,认为这是从特定示例归因分析转向全局电路分析的核心障碍。研究通过在玩具模型中的初步探索得出三点发现:干扰权重可在修改解释的玩具模型中复现,其表现与真实模型相似,分析时通常需滤除;其定义多样,…

    Anthropic:Transformer Circuits(可解释性研究)其他AI 评分 83

  • 当下如何使用 AI:快速指南

    一份当下 AI 工具的快速选用指南,聚焦目前值得使用的 AI 产品及其具体使用方法,帮助读者快速上手并选对工具。

    Ethan Mollick:One Useful Thing(RSS)其他

  • 稀疏混合线性变换(MOLT)

    稀疏混合线性变换(MOLT)是一种正在开发的新方法,旨在替代Transformer模型中的MLP层,以解决此前“转码器”方法在计算效率和表示忠实性上的局限。与转码器学习稀疏激活的特征向量不同,MOLT学习稀疏激活的线性变换,这些变换直接对…

    Anthropic:Transformer Circuits(可解释性研究)其他AI 评分 83