Modellveröffentlichungen

Hugging Face veröffentlicht DSpark-Draft-Modelle der LFM2.5-Serie mit bis zu 3,18-facher Inferenzbeschleunigung

Originaltitel:Up to 3.2x Faster Inference with LFM2.5-DSpark

KI-Zusammenfassung

Hugging Face hat DSpark-Draft-Modell-Checkpoints für drei Modelle der LFM2.5-Serie veröffentlicht. Durch spekulatives Decoding steigt der GPU-Durchsatz ohne Qualitätsverlust um bis zu das 3,18-Fache, auf Endgeräten um bis zu das 2,87-Fache. Die Draft-Modelle haben rund 300M Parameter; bei LFM2.5-2.6B sinkt die Latenz von Funktionsaufrufen im Durchschnitt um 57 %. Sie sind als Open Source verfügbar und unterstützen llama.cpp und SGLang.

Kernpunkte

  • Hugging Face hat DSpark-Draft-Modell-Checkpoints für drei Modelle der LFM2.
  • 5-Serie veröffentlicht.
  • Durch spekulatives Decoding steigt der GPU-Durchsatz ohne Qualitätsverlust um bis zu das…
  • Die Draft-Modelle haben rund 300M Parameter
  • bei LFM2.

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
Hugging Face 社区博客(混合发现)
Kategorie
Modellveröffentlichungen
KI-Bewertung
61
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

约300M参数的draft模型换最高3.18倍吞吐,贪心输出不变,LFM2.5-2.6B在M4 Max达139 tok/s,本地agent门槛被拉低。

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Hugging Face veröffentlicht DSpark-Draft-Modelle der LFM2.5-Serie mit bis zu 3,18-facher Inferenzbeschleunigung. 21. August 2026. https://new.nat6.net/de/news/cmt1rv5n8066iroovaxgoej1b/

Alle ansehen →