Autres

Utiliser les caractéristiques apprises par dictionnaire comme classifieurs

Titre original:Using Dictionary Learning Features as Classifiers

Résumé IA

L'équipe d'interprétabilité d'Anthropic a étudié l'utilisation de caractéristiques interprétables par l'humain, extraites de grands modèles de langage par apprentissage de dictionnaires, comme classifieurs. Dans une tâche de classification de prompts relatifs aux armes biologiques, les classifieurs linéaires basés sur les caractéristiques rivalisent avec les classifieurs basés sur les activations brutes, voire les surpassent, tandis que les classifieurs par arbres de décision basés sur les caractéristiques, moins performants, offrent une meilleure interprétabilité. L'interprétabilité des classifieurs de caractéristiques aide à visualiser les jeux de données et à détecter des corrélations fallacieuses, exploitables pour construire des attaques adversariales. Cependant, l'usage des caractéristiques introduit de la complexité ; dans les applications où la performance prime, les activations brutes restent une base de référence solide. Les expériences montrent que la performance des classifieurs de caractéristiques dépend de trois détails : la présence cohérente des étiquettes « humain/assistant » dans les données, l'inclusion ou non de données pertinentes du domaine dans l'ensemble d'entraînement de l'apprentissage de dictionnaires, et l'utilisation d'un pooling maximal sur le contexte plutôt que des seules activations du dernier token.

Points clés

  • L'équipe d'interprétabilité d'Anthropic a étudié l'utilisation de caractéristiques interprétables…
  • Dans une tâche de classification de prompts relatifs aux armes biologiques,les classifieurs…
  • L'interprétabilité des classifieurs de caractéristiques aide à visualiser les jeux de données et à…
  • Cependant,l'usage des caractéristiques introduit de la complexité
  • dans les applications où la performance prime,les activations brutes restent une base de référence…

En bref

Publié
Mis à jour
Source
Anthropic:Transformer Circuits(可解释性研究)
Catégorie
Autres
Score IA
73
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

可解释性方法能增强 AI 安全检测,并帮助发现训练数据中的虚假关联。

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Utiliser les caractéristiques apprises par dictionnaire comme classifieurs. 15. juin 2024. https://new.nat6.net/fr/news/cmoegbh73006uslxxjbk7twca/

Tout voir →