Дифференциальный Transformer V2
Оригинальный заголовок:Differential Transformer V2
ИИ-резюме
Выпущен дифференциальный Transformer V2, ядром которого стал усовершенствованный механизм дифференциального внимания. По сравнению с V1, V2 удваивает число голов запросов при неизменном числе голов ключей и значений, а после дифференциальной операции уменьшает размерность, что позволяет достичь скорости, сопоставимой со стандартным Transformer при декодировании, без необходимости в кастомных ядрах. Новая версия также решает проблему численной нестабильности V1, вызванной выравниванием распределения внимания, в частности устраняет необходимость в огромном масштабирующем коэффициенте для слоёв RMSNorm (например, на длинных последовательностях), предотвращая взрыв градиентов и обеспечивая более стабильное крупномасштабное предобучение.
Ключевые моменты
- Выпущен дифференциальный Transformer V2,ядром которого стал усовершенствованный механизм…
- По сравнению с V1,V2 удваивает число голов запросов при неизменном числе голов ключей и значений,а…
- Новая версия также решает проблему численной нестабильности V1,вызванной выравниванием…
Кратко
- Опубликовано
- Обновлено
- Источник
- Hugging Face 社区博客(混合发现)
- Категория
- Другое
- Оценка ИИ
- 83
新注意力架构提升解码效率与训练稳定性,开发者可低成本集成优化模型。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Дифференциальный Transformer V2. 20 января 2026. https://new.nat6.net/ru/news/cmoegbhak009uslxxazhwpcva/