Iba pa

Differential Transformer V2

Orihinal na pamagat:Differential Transformer V2

AI summary

Inilabas ang Differential Transformer V2, na ang core ay ang pinahusay na differential attention mechanism. Kumpara sa V1, dinoble ng V2 ang bilang ng query heads habang pinananatiling hindi nagbabago ang key-value heads, at binabawasan ang dimensyon pagkatapos ng differential operation, kaya nakakamit nito sa decoding ang bilis na katumbas ng standard Transformer nang hindi kailangan ng custom kernels. Niresolba rin ng bagong bersyon ang numerical instability na dulot ng uniformization ng attention distribution sa V1, lalo na ang pag-aalis ng malaking scaling factor na kailangan ng RMSNorm layers (tulad sa mahabang sequences), kaya naiiwasan ang gradient explosion, na naglalayong makamit ang mas stable na large-scale pretraining.

Mahahalagang impormasyon

  • Inilabas ang Differential Transformer V2,na ang core ay ang pinahusay na differential attention…
  • Kumpara sa V1,dinoble ng V2 ang bilang ng query heads habang pinananatiling hindi nagbabago ang…
  • Niresolba rin ng bagong bersyon ang numerical instability na dulot ng uniformization ng attention…

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
Hugging Face 社区博客(混合发现)
Kategorya
Iba pa
AI na marka
83
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

新注意力架构提升解码效率与训练稳定性,开发者可低成本集成优化模型。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Differential Transformer V2. 20 Enero 2026. https://new.nat6.net/fil/news/cmoegbhak009uslxxazhwpcva/

Tingnan lahat →