Tutoriels et astuces

Des signaux comportementaux lisibles subsistent dans les états cachés des grands modèles de langage gelés, une nouvelle technique améliore nettement la précision

Titre original:Frozen LLMs still carry readable behavior signals deep inside their hidden states. And Propriocepti...

Résumé IA

La technologie Cygnus développée par Proprioceptive AI ajoute des adaptateurs d'auto-perception à des grands modèles de langage gelés, leur permettant de lire la géométrie cognitive interne. La technique projette les états cachés du modèle dans un espace mathématique défini par l'algèbre de Lie gl(4,R), isolant un « mode sombre » porteur du principal signal de précision, ce qui améliore significativement les performances du modèle sans réentraînement. Par exemple, avec une seule carte graphique RTX 3090, la précision de Qwen-32B sur le benchmark ARC-Challenge passe de 82,2 % à 94,97 %. Ses adaptateurs couvriront plusieurs modèles de 3B à 405B, et les nœuds de service pourront supporter 50 000 utilisateurs simultanés, avec un lancement prévu ce week-end. L'article de conception associé a été publié.

Points clés

  • La technologie Cygnus développée par Proprioceptive AI ajoute des adaptateurs d'auto-perception à…
  • La technique projette les états cachés du modèle dans un espace mathématique défini par l'algèbre…
  • Par exemple,avec une seule carte graphique RTX 3090,la précision de Qwen-32B sur le benchmark…
  • Ses adaptateurs couvriront plusieurs modèles de 3B à 405B,et les nœuds de service pourront…
  • L'article de conception associé a été publié.

En bref

Publié
Mis à jour
Source
X:Rohan Paul (@rohanpaul_ai)
Catégorie
Tutoriels et astuces
Score IA
77
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

用Lie代数揪出模型内部的“黑暗模式”,在ARC上狂涨12个点还只要一张3090,如果真能泛化到其他任务,这或许是今年最巧妙的模型增强方案,但单基准提升仍需更多验证。

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Des signaux comportementaux lisibles subsistent dans les états cachés des grands modèles de langage gelés, une nouvelle technique améliore nettement la précision. 8. mai 2026. https://new.nat6.net/fr/news/cmovw0m8j00s3slcxklzwwqpj/

Tout voir →