Hugging Face veröffentlicht DSpark-Draft-Modelle der LFM2.5-Serie mit bis zu 3,18-facher Inferenzbeschleunigung
Originaltitel:Up to 3.2x Faster Inference with LFM2.5-DSpark
KI-Zusammenfassung
Hugging Face hat DSpark-Draft-Modell-Checkpoints für drei Modelle der LFM2.5-Serie veröffentlicht. Durch spekulatives Decoding steigt der GPU-Durchsatz ohne Qualitätsverlust um bis zu das 3,18-Fache, auf Endgeräten um bis zu das 2,87-Fache. Die Draft-Modelle haben rund 300M Parameter; bei LFM2.5-2.6B sinkt die Latenz von Funktionsaufrufen im Durchschnitt um 57 %. Sie sind als Open Source verfügbar und unterstützen llama.cpp und SGLang.
Kernpunkte
- Hugging Face hat DSpark-Draft-Modell-Checkpoints für drei Modelle der LFM2.
- 5-Serie veröffentlicht.
- Durch spekulatives Decoding steigt der GPU-Durchsatz ohne Qualitätsverlust um bis zu das…
- Die Draft-Modelle haben rund 300M Parameter
- bei LFM2.
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- Hugging Face 社区博客(混合发现)
- Kategorie
- Modellveröffentlichungen
- KI-Bewertung
- 61
约300M参数的draft模型换最高3.18倍吞吐,贪心输出不变,LFM2.5-2.6B在M4 Max达139 tok/s,本地agent门槛被拉低。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Hugging Face veröffentlicht DSpark-Draft-Modelle der LFM2.5-Serie mit bis zu 3,18-facher Inferenzbeschleunigung. 21. August 2026. https://new.nat6.net/de/news/cmt1rv5n8066iroovaxgoej1b/