Туториалы и советы

В скрытых состояниях замороженных больших языковых моделей сохраняются читаемые поведенческие сигналы — новая технология значительно повышает точность

Оригинальный заголовок:Frozen LLMs still carry readable behavior signals deep inside their hidden states. And Propriocepti...

ИИ-резюме

Разработанная Proprioceptive AI технология Cygnus добавляет к замороженным большим языковым моделям адаптеры самовосприятия, позволяя считывать внутреннюю когнитивную геометрию. Технология проецирует скрытые состояния модели в математическое пространство, определяемое алгеброй Ли gl(4,R), и выделяет «тёмные моды», содержащие основной сигнал точности, что позволяет существенно повысить производительность модели без переобучения. Например, всего на одной видеокарте RTX 3090 точность Qwen-32B на бенчмарке ARC-Challenge выросла с 82,2% до 94,97%. Адаптеры будут охватывать модели от 3B до 405B, а сервисные узлы смогут поддерживать 50 тыс. одновременных пользователей; запуск ожидается в эти выходные. Соответствующая статья о дизайне уже опубликована.

Ключевые моменты

  • Разработанная Proprioceptive AI технология Cygnus добавляет к замороженным большим языковым…
  • Технология проецирует скрытые состояния модели в математическое пространство,определяемое алгеброй…
  • Например,всего на одной видеокарте RTX 3090 точность Qwen-32B на бенчмарке ARC-Challenge выросла с…
  • Адаптеры будут охватывать модели от 3B до 405B,а сервисные узлы смогут поддерживать 50 тыс.
  • одновременных пользователей

Кратко

Опубликовано
Обновлено
Источник
X:Rohan Paul (@rohanpaul_ai)
Категория
Туториалы и советы
Оценка ИИ
77
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

用Lie代数揪出模型内部的“黑暗模式”,在ARC上狂涨12个点还只要一张3090,如果真能泛化到其他任务,这或许是今年最巧妙的模型增强方案,但单基准提升仍需更多验证。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: В скрытых состояниях замороженных больших языковых моделей сохраняются читаемые поведенческие сигналы — новая технология значительно повышает точность. 8 мая 2026. https://new.nat6.net/ru/news/cmovw0m8j00s3slcxklzwwqpj/

Смотреть все →