Hugging Face 发布 LFM2.5 系列 DSpark 草稿模型,推理速度最高提升 3.18 倍
原文标题:Up to 3.2x Faster Inference with LFM2.5-DSpark
AI 摘要
Hugging Face 发布 LFM2.5 系列三款模型的 DSpark 草稿模型检查点,通过投机解码在不改变输出质量的前提下,GPU 吞吐最高提升 3.18 倍,端侧最高 2.87 倍。草稿模型约 300M 参数,LFM2.5-2.6B 函数调用延迟平均降低 57%,已开源支持 llama.cpp 和 SGLang。
关键信息
- Hugging Face 发布 LFM2.
- 5 系列三款模型的 DSpark 草稿模型检查点,通过投机解码在不改变输出质量的前提下,GPU 吞吐最高提升 3.
- 18 倍,端侧最高 2.
- 草稿模型约 300M 参数,LFM2.
- 6B 函数调用延迟平均降低 57%,已开源支持 llama.
速览
- 发布时间
- 更新时间
- 分类
- 模型发布
- AI 评分
- 61
推荐理由
约300M参数的draft模型换最高3.18倍吞吐,贪心输出不变,LFM2.5-2.6B在M4 Max达139 tok/s,本地agent门槛被拉低。
相关实体
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:Hugging Face 发布 LFM2.5 系列 DSpark 草稿模型,推理速度最高提升 3.18 倍。2026年8月21日。https://new.nat6.net/news/cmt1rv5n8066iroovaxgoej1b/