Utiliser les caractéristiques apprises par dictionnaire comme classifieurs
Titre original:Using Dictionary Learning Features as Classifiers
Résumé IA
L'équipe d'interprétabilité d'Anthropic a étudié l'utilisation de caractéristiques interprétables par l'humain, extraites de grands modèles de langage par apprentissage de dictionnaires, comme classifieurs. Dans une tâche de classification de prompts relatifs aux armes biologiques, les classifieurs linéaires basés sur les caractéristiques rivalisent avec les classifieurs basés sur les activations brutes, voire les surpassent, tandis que les classifieurs par arbres de décision basés sur les caractéristiques, moins performants, offrent une meilleure interprétabilité. L'interprétabilité des classifieurs de caractéristiques aide à visualiser les jeux de données et à détecter des corrélations fallacieuses, exploitables pour construire des attaques adversariales. Cependant, l'usage des caractéristiques introduit de la complexité ; dans les applications où la performance prime, les activations brutes restent une base de référence solide. Les expériences montrent que la performance des classifieurs de caractéristiques dépend de trois détails : la présence cohérente des étiquettes « humain/assistant » dans les données, l'inclusion ou non de données pertinentes du domaine dans l'ensemble d'entraînement de l'apprentissage de dictionnaires, et l'utilisation d'un pooling maximal sur le contexte plutôt que des seules activations du dernier token.
Points clés
- L'équipe d'interprétabilité d'Anthropic a étudié l'utilisation de caractéristiques interprétables…
- Dans une tâche de classification de prompts relatifs aux armes biologiques,les classifieurs…
- L'interprétabilité des classifieurs de caractéristiques aide à visualiser les jeux de données et à…
- Cependant,l'usage des caractéristiques introduit de la complexité
- dans les applications où la performance prime,les activations brutes restent une base de référence…
En bref
- Publié
- Mis à jour
- Catégorie
- Autres
- Score IA
- 73
可解释性方法能增强 AI 安全检测,并帮助发现训练数据中的虚假关联。
Entités associées
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Utiliser les caractéristiques apprises par dictionnaire comme classifieurs. 15. juin 2024. https://new.nat6.net/fr/news/cmoegbh73006uslxxjbk7twca/