Когда модель управляет многообразием: геометрические принципы задачи подсчёта
Оригинальный заголовок:When Models Manipulate Manifolds: The Geometry of a Counting Task
ИИ-резюме
Исследование изучает, как языковые модели вроде Claude 3.5 Haiku учатся пространственному рассуждению, подобному биологическому восприятию, исключительно из текста, чтобы выполнять перенос строк фиксированной ширины. Модель представляет позиционную информацию двумя дуальными механизмами: дискретными активациями признаков и геометрическими преобразованиями на многообразии признаков. Она отслеживает число символов в текущей строке и ограничение ширины, объединяет сведения для оценки оставшегося места и решает, переносить ли строку. Найдено, что эти счётные представления лежат на одномерном многообразии низкой размерности с высокой кривизной в остаточном потоке, а вычисление можно трактовать и как дискретную схему, и как непрерывное геометрическое преобразование.
Ключевые моменты
- Исследование изучает,как языковые модели вроде Claude 3.
- 5 Haiku учатся пространственному рассуждению,подобному биологическому восприятию,исключительно из…
- Модель представляет позиционную информацию двумя дуальными механизмами: дискретными активациями…
- Она отслеживает число символов в текущей строке и ограничение ширины,объединяет сведения для…
- Найдено,что эти счётные представления лежат на одномерном многообразии низкой размерности с…
Кратко
- Опубликовано
- Обновлено
- Категория
- Другое
- Оценка ИИ
- 78
模型内部自发形成类似哺乳动物空间感知的几何表征,揭示大模型'感知'世界的底层机制
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Когда модель управляет многообразием: геометрические принципы задачи подсчёта. 15 июня 2025. https://new.nat6.net/ru/news/cmoegbh73006eslxxrzfnvgyo/