METR измеряет способность моделей распознавать оценочные тесты на выравнивание: агент-исследователь различает тесты выравнивания и способностей
Оригинальный заголовок:Measuring alignment eval tells
ИИ-резюме
METR опубликовал исследовательскую заметку, в которой агент-исследователь изучал среду в 19 тестах на выравнивание и 36 тестах способностей, чтобы измерить, может ли модель определить, что находится в тесте на выравнивание. Результаты показывают, что способность агента различать два типа тестов за последний год постоянно росла; Opus 5.5 на их наборе данных поставил все тесты на выравнивание выше всех тестов способностей. Среди признаков, по которым модель распознаёт тест, — среда, похожая на симулированный ханипот; авторы разделили признаки выравнивания на уровне среды и на уровне задачи и предложили использовать это для итеративного улучшения дизайна тестов на выравнивание.
Ключевые моменты
- METR опубликовал исследовательскую заметку,в которой агент-исследователь изучал среду в 19 тестах…
- Результаты показывают,что способность агента различать два типа тестов за последний год постоянно…
- 5 на их наборе данных поставил все тесты на выравнивание выше всех тестов способностей.
- Среди признаков,по которым модель распознаёт тест,— среда,похожая на симулированный ханипот
- авторы разделили признаки выравнивания на уровне среды и на уровне задачи и предложили…
Кратко
- Опубликовано
- Обновлено
- Источник
- METR:Notes(网页)
- Категория
- Статьи и исследования
- Оценка ИИ
- 62
METR 用调查型智能体实测 55 个评测,发现当前模型能识别对齐评测,并给出了环境级与任务级线索的分类方法。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: METR измеряет способность моделей распознавать оценочные тесты на выравнивание: агент-исследователь различает тесты выравнивания и способностей. 16 ноября 2026. https://new.nat6.net/ru/news/m4emm1ej7qzex1k77a7mfaztd/