Использование признаков словарного обучения в качестве классификаторов
Оригинальный заголовок:Using Dictionary Learning Features as Classifiers
ИИ-резюме
Команда интерпретируемости Anthropic исследовала использование человекочитаемых признаков, извлечённых из больших языковых моделей с помощью словарного обучения, в качестве классификаторов. В задаче классификации запросов о биологическом оружии линейный классификатор на признаках показал конкурентоспособную или даже лучшую производительность по сравнению с классификатором на исходных активациях, тогда как классификатор на основе дерева решений по признакам уступал в производительности, но был более интерпретируемым. Интерпретируемость классификаторов на признаках помогает визуализировать наборы данных и выявлять ложные корреляции, которые можно использовать для построения состязательных атак. Однако использование признаков вносит сложность, поэтому в приложениях, где приоритетна производительность, исходные активации остаются сильным базовым уровнем. Эксперименты показали, что производительность классификатора на признаках зависит от трёх деталей: последовательно ли в данных присутствуют метки «человек/ассистент», включены ли доменно-релевантные данные в обучающий набор словарного обучения и применяется ли максимальное пулирование по контексту вместо использования активаций только последнего токена.
Ключевые моменты
- Команда интерпретируемости Anthropic исследовала использование человекочитаемых…
- В задаче классификации запросов о биологическом оружии линейный классификатор на признаках показал…
- Интерпретируемость классификаторов на признаках помогает визуализировать наборы данных и выявлять…
- Однако использование признаков вносит сложность,поэтому в приложениях,где приоритетна…
- Эксперименты показали,что производительность классификатора на признаках зависит от трёх деталей:…
Кратко
- Опубликовано
- Обновлено
- Категория
- Другое
- Оценка ИИ
- 73
可解释性方法能增强 AI 安全检测,并帮助发现训练数据中的虚假关联。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Использование признаков словарного обучения в качестве классификаторов. 15 июня 2024. https://new.nat6.net/ru/news/cmoegbh73006uslxxjbk7twca/