Hugging Face publie les modèles draft DSpark de la série LFM2.5, jusqu'à 3,18× plus rapides en inférence
Titre original:Up to 3.2x Faster Inference with LFM2.5-DSpark
Résumé IA
Hugging Face publie les checkpoints de modèles draft DSpark pour trois modèles de la série LFM2.5 : grâce au décodage spéculatif, le débit GPU augmente jusqu'à 3,18× et jusqu'à 2,87× sur appareil, sans altérer la qualité des sorties. Les modèles draft comptent environ 300M de paramètres ; la latence d'appel de fonctions de LFM2.5-2.6B baisse en moyenne de 57 %. Ils sont open source et compatibles avec llama.cpp et SGLang.
Points clés
- Hugging Face publie les checkpoints de modèles draft DSpark pour trois modèles de la série LFM2.
- 5: grâce au décodage spéculatif,le débit GPU augmente jusqu'à 3,18× et jusqu'à 2,87× sur…
- Les modèles draft comptent environ 300M de paramètres
- la latence d'appel de fonctions de LFM2.
- 6B baisse en moyenne de 57 %.
En bref
- Publié
- Mis à jour
- Source
- Hugging Face 社区博客(混合发现)
- Catégorie
- Sorties de modèles
- Score IA
- 61
约300M参数的draft模型换最高3.18倍吞吐,贪心输出不变,LFM2.5-2.6B在M4 Max达139 tok/s,本地agent门槛被拉低。
Entités associées
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Hugging Face publie les modèles draft DSpark de la série LFM2.5, jusqu'à 3,18× plus rapides en inférence. 21. août 2026. https://new.nat6.net/fr/news/cmt1rv5n8066iroovaxgoej1b/