Другое

Возникающая интроспекция в больших языковых моделях

Оригинальный заголовок:Emergent Introspective Awareness in Large Language Models

ИИ-резюме

Исследование с помощью «инъекции концептов» напрямую управляет внутренними активациями модели, чтобы проверить, обладает ли большая языковая модель настоящей интроспекцией. Эксперименты показали, что в некоторых ситуациях модель замечает и распознаёт внедрённый концепт, отличает собственные внутренние представления от исходного текста и даже использует воспоминание о прежних намерениях, чтобы отличить свой вывод от искусственно заданного. Наибольшую интроспекцию демонстрируют модели серии Claude Opus, но способность нестабильна и сильно зависит от контекста. Работа показывает, что у современных моделей есть функциональное восприятие внутренних состояний; оно пока ненадёжно, но может развиваться с ростом возможностей моделей.

Ключевые моменты

  • Исследование с помощью «инъекции концептов» напрямую управляет внутренними активациями…
  • Эксперименты показали,что в некоторых ситуациях модель замечает и распознаёт внедрённый…
  • Наибольшую интроспекцию демонстрируют модели серии Claude Opus,но способность нестабильна и сильно…
  • Работа показывает,что у современных моделей есть функциональное восприятие внутренних состояний
  • оно пока ненадёжно,но может развиваться с ростом возможностей моделей.

Кратко

Опубликовано
Обновлено
Источник
Anthropic:Transformer Circuits(可解释性研究)
Категория
Другое
Оценка ИИ
83
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

研究揭示大模型可能具备有限内省能力,对 AI 安全和透明度有重要启示。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Возникающая интроспекция в больших языковых моделях. 29 октября 2025. https://new.nat6.net/ru/news/cmoegbh73006cslxx667v4iig/

Смотреть все →