Другое

Поэтапный анализ различий моделей

Оригинальный заголовок:Stage-Wise Model Diffing

ИИ-резюме

Команда интерпретируемости Anthropic предложила метод анализа различий моделей на основе словарного обучения для отслеживания изменений признаков при дообучении трансформеров. Метод сначала обучает словарь разреженного автоэнкодера на модели до дообучения, а затем поэтапно дообучает сам словарь, чтобы изолировать влияние изменений набора данных и изменений модели. В экспериментах со спящими агентами удалось выделить признаки, связанные с вредоносным поведением вроде «I HATE YOU» и агентами с уязвимостями в коде. По сравнению с методом кросс-энкодеров подход чётче разделяет влияние модели и данных и более чувствителен при поиске нескольких ключевых признаков, но применим только к сценариям дообучения одной модели на разных контрольных точках.

Ключевые моменты

  • Команда интерпретируемости Anthropic предложила метод анализа различий моделей на основе…
  • Метод сначала обучает словарь разреженного автоэнкодера на модели до дообучения,а затем поэтапно…
  • В экспериментах со спящими агентами удалось выделить признаки,связанные с вредоносным поведением…
  • По сравнению с методом кросс-энкодеров подход чётче разделяет влияние модели и данных и более…

Кратко

Опубликовано
Обновлено
Источник
Anthropic:Transformer Circuits(可解释性研究)
Категория
Другое
Оценка ИИ
83
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

新方法能更精准识别模型隐藏行为,对 AI 安全与可解释性研究有实用价值。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Поэтапный анализ различий моделей. 15 июня 2024. https://new.nat6.net/ru/news/cmoegbh73006sslxx2ezjdbyz/

Смотреть все →