Другое

Дифференциальный Transformer V2

Оригинальный заголовок:Differential Transformer V2

ИИ-резюме

Выпущен дифференциальный Transformer V2, ядром которого стал усовершенствованный механизм дифференциального внимания. По сравнению с V1, V2 удваивает число голов запросов при неизменном числе голов ключей и значений, а после дифференциальной операции уменьшает размерность, что позволяет достичь скорости, сопоставимой со стандартным Transformer при декодировании, без необходимости в кастомных ядрах. Новая версия также решает проблему численной нестабильности V1, вызванной выравниванием распределения внимания, в частности устраняет необходимость в огромном масштабирующем коэффициенте для слоёв RMSNorm (например, на длинных последовательностях), предотвращая взрыв градиентов и обеспечивая более стабильное крупномасштабное предобучение.

Ключевые моменты

  • Выпущен дифференциальный Transformer V2,ядром которого стал усовершенствованный механизм…
  • По сравнению с V1,V2 удваивает число голов запросов при неизменном числе голов ключей и значений,а…
  • Новая версия также решает проблему численной нестабильности V1,вызванной выравниванием…

Кратко

Опубликовано
Обновлено
Источник
Hugging Face 社区博客(混合发现)
Категория
Другое
Оценка ИИ
83
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

新注意力架构提升解码效率与训练稳定性,开发者可低成本集成优化模型。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Дифференциальный Transformer V2. 20 января 2026. https://new.nat6.net/ru/news/cmoegbhak009uslxxazhwpcva/

Смотреть все →