Другое

Использование признаков словарного обучения в качестве классификаторов

Оригинальный заголовок:Using Dictionary Learning Features as Classifiers

ИИ-резюме

Команда интерпретируемости Anthropic исследовала использование человекочитаемых признаков, извлечённых из больших языковых моделей с помощью словарного обучения, в качестве классификаторов. В задаче классификации запросов о биологическом оружии линейный классификатор на признаках показал конкурентоспособную или даже лучшую производительность по сравнению с классификатором на исходных активациях, тогда как классификатор на основе дерева решений по признакам уступал в производительности, но был более интерпретируемым. Интерпретируемость классификаторов на признаках помогает визуализировать наборы данных и выявлять ложные корреляции, которые можно использовать для построения состязательных атак. Однако использование признаков вносит сложность, поэтому в приложениях, где приоритетна производительность, исходные активации остаются сильным базовым уровнем. Эксперименты показали, что производительность классификатора на признаках зависит от трёх деталей: последовательно ли в данных присутствуют метки «человек/ассистент», включены ли доменно-релевантные данные в обучающий набор словарного обучения и применяется ли максимальное пулирование по контексту вместо использования активаций только последнего токена.

Ключевые моменты

  • Команда интерпретируемости Anthropic исследовала использование человекочитаемых…
  • В задаче классификации запросов о биологическом оружии линейный классификатор на признаках показал…
  • Интерпретируемость классификаторов на признаках помогает визуализировать наборы данных и выявлять…
  • Однако использование признаков вносит сложность,поэтому в приложениях,где приоритетна…
  • Эксперименты показали,что производительность классификатора на признаках зависит от трёх деталей:…

Кратко

Опубликовано
Обновлено
Источник
Anthropic:Transformer Circuits(可解释性研究)
Категория
Другое
Оценка ИИ
73
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

可解释性方法能增强 AI 安全检测,并帮助发现训练数据中的虚假关联。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Использование признаков словарного обучения в качестве классификаторов. 15 июня 2024. https://new.nat6.net/ru/news/cmoegbh73006uslxxjbk7twca/

Смотреть все →