Open source ng Tencent Hunyuan ang AngelSpec speculative decoding framework
Orihinal na pamagat:🚀 We’ve open-sourced AngelSpec, an end-to-end speculative decoding framework supporting both traini...
AI summary
Inilabas ng Tencent Hunyuan bilang open source ang end-to-end speculative decoding framework na AngelSpec, na sumusuporta sa training at deployment. Sa Hy3-A21B model, ang DFly scheme nito ay nakamit ang 1.98–2.40x end-to-end speedup kumpara sa autoregressive decoding, at ang throughput ay 10.5–11.8% na mas mataas kaysa sa DFlash. Ang training code at ang Hy3-A21B MTP/DFly draft model weights ay open source na.
Mahahalagang impormasyon
- Inilabas ng Tencent Hunyuan bilang open source ang end-to-end speculative decoding framework na…
- Sa Hy3-A21B model,ang DFly scheme nito ay nakamit ang 1.
- 40x end-to-end speedup kumpara sa autoregressive decoding,at ang throughput ay 10.
- 8% na mas mataas kaysa sa DFlash.
- Ang training code at ang Hy3-A21B MTP/DFly draft model weights ay open source na.
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- X:腾讯混元 (@TencentHunyuan)
- Kategorya
- Mga produkto at aplikasyon
- AI na marka
- 74
做推理加速的可以试试这个端到端推测解码框架,腾讯开源了完整代码和权重,在 Hy3 上提速近 2.4 倍且吞吐更高,拿来即用。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Open source ng Tencent Hunyuan ang AngelSpec speculative decoding framework. 29 Hulyo 2026. https://new.nat6.net/fil/news/cms639jt416x6robksy69dzel/