Mga produkto at aplikasyon

Open source ng Tencent Hunyuan ang AngelSpec speculative decoding framework

Orihinal na pamagat:🚀 We’ve open-sourced AngelSpec, an end-to-end speculative decoding framework supporting both traini...

AI summary

Inilabas ng Tencent Hunyuan bilang open source ang end-to-end speculative decoding framework na AngelSpec, na sumusuporta sa training at deployment. Sa Hy3-A21B model, ang DFly scheme nito ay nakamit ang 1.98–2.40x end-to-end speedup kumpara sa autoregressive decoding, at ang throughput ay 10.5–11.8% na mas mataas kaysa sa DFlash. Ang training code at ang Hy3-A21B MTP/DFly draft model weights ay open source na.

Mahahalagang impormasyon

  • Inilabas ng Tencent Hunyuan bilang open source ang end-to-end speculative decoding framework na…
  • Sa Hy3-A21B model,ang DFly scheme nito ay nakamit ang 1.
  • 40x end-to-end speedup kumpara sa autoregressive decoding,at ang throughput ay 10.
  • 8% na mas mataas kaysa sa DFlash.
  • Ang training code at ang Hy3-A21B MTP/DFly draft model weights ay open source na.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
X:腾讯混元 (@TencentHunyuan)
Kategorya
Mga produkto at aplikasyon
AI na marka
74
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

做推理加速的可以试试这个端到端推测解码框架,腾讯开源了完整代码和权重,在 Hy3 上提速近 2.4 倍且吞吐更高,拿来即用。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Open source ng Tencent Hunyuan ang AngelSpec speculative decoding framework. 29 Hulyo 2026. https://new.nat6.net/fil/news/cms639jt416x6robksy69dzel/

Tingnan lahat →