В скрытых состояниях замороженных больших языковых моделей сохраняются читаемые поведенческие сигналы — новая технология значительно повышает точность
Оригинальный заголовок:Frozen LLMs still carry readable behavior signals deep inside their hidden states. And Propriocepti...
ИИ-резюме
Разработанная Proprioceptive AI технология Cygnus добавляет к замороженным большим языковым моделям адаптеры самовосприятия, позволяя считывать внутреннюю когнитивную геометрию. Технология проецирует скрытые состояния модели в математическое пространство, определяемое алгеброй Ли gl(4,R), и выделяет «тёмные моды», содержащие основной сигнал точности, что позволяет существенно повысить производительность модели без переобучения. Например, всего на одной видеокарте RTX 3090 точность Qwen-32B на бенчмарке ARC-Challenge выросла с 82,2% до 94,97%. Адаптеры будут охватывать модели от 3B до 405B, а сервисные узлы смогут поддерживать 50 тыс. одновременных пользователей; запуск ожидается в эти выходные. Соответствующая статья о дизайне уже опубликована.
Ключевые моменты
- Разработанная Proprioceptive AI технология Cygnus добавляет к замороженным большим языковым…
- Технология проецирует скрытые состояния модели в математическое пространство,определяемое алгеброй…
- Например,всего на одной видеокарте RTX 3090 точность Qwen-32B на бенчмарке ARC-Challenge выросла с…
- Адаптеры будут охватывать модели от 3B до 405B,а сервисные узлы смогут поддерживать 50 тыс.
- одновременных пользователей
Кратко
- Опубликовано
- Обновлено
- Источник
- X:Rohan Paul (@rohanpaul_ai)
- Категория
- Туториалы и советы
- Оценка ИИ
- 77
用Lie代数揪出模型内部的“黑暗模式”,在ARC上狂涨12个点还只要一张3090,如果真能泛化到其他任务,这或许是今年最巧妙的模型增强方案,但单基准提升仍需更多验证。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: В скрытых состояниях замороженных больших языковых моделей сохраняются читаемые поведенческие сигналы — новая технология значительно повышает точность. 8 мая 2026. https://new.nat6.net/ru/news/cmovw0m8j00s3slcxklzwwqpj/