Autres

Quand les modèles manipulent des variétés : la géométrie d'une tâche de comptage

Titre original:When Models Manipulate Manifolds: The Geometry of a Counting Task

Résumé IA

Cette étude examine comment des modèles de langage comme Claude 3.5 Haiku apprennent, à partir de texte pur, un raisonnement spatial proche de la perception biologique pour la tâche de retour à la ligne automatique sur une largeur fixe. Le modèle représente la position par deux mécanismes duaux : activation de caractéristiques discrètes et transformation géométrique sur une variété de caractéristiques. Il suit le nombre de caractères de la ligne courante et la limite de largeur, intègre l'information pour estimer l'espace restant et décider du retour à la ligne. Ces représentations de comptage résident sur une variété unidimensionnelle de faible dimension et à forte courbure du flux résiduel, dont le calcul se lit comme un circuit discret ou comme une transformation géométrique continue.

Points clés

  • Cette étude examine comment des modèles de langage comme Claude 3.
  • 5 Haiku apprennent,à partir de texte pur,un raisonnement spatial proche de la perception…
  • Le modèle représente la position par deux mécanismes duaux: activation de caractéristiques…
  • Il suit le nombre de caractères de la ligne courante et la limite de largeur,intègre l'information…
  • Ces représentations de comptage résident sur une variété unidimensionnelle de faible dimension et…

En bref

Publié
Mis à jour
Source
Anthropic:Transformer Circuits(可解释性研究)
Catégorie
Autres
Score IA
78
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

模型内部自发形成类似哺乳动物空间感知的几何表征,揭示大模型'感知'世界的底层机制

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Quand les modèles manipulent des variétés : la géométrie d'une tâche de comptage. 15. juin 2025. https://new.nat6.net/fr/news/cmoegbh73006eslxxrzfnvgyo/

Tout voir →