模型发布

Hugging Face 发布 LFM2.5 系列 DSpark 草稿模型,推理速度最高提升 3.18 倍

原文标题:Up to 3.2x Faster Inference with LFM2.5-DSpark

AI 摘要

Hugging Face 发布 LFM2.5 系列三款模型的 DSpark 草稿模型检查点,通过投机解码在不改变输出质量的前提下,GPU 吞吐最高提升 3.18 倍,端侧最高 2.87 倍。草稿模型约 300M 参数,LFM2.5-2.6B 函数调用延迟平均降低 57%,已开源支持 llama.cpp 和 SGLang。

关键信息

  • Hugging Face 发布 LFM2.
  • 5 系列三款模型的 DSpark 草稿模型检查点,通过投机解码在不改变输出质量的前提下,GPU 吞吐最高提升 3.
  • 18 倍,端侧最高 2.
  • 草稿模型约 300M 参数,LFM2.
  • 6B 函数调用延迟平均降低 57%,已开源支持 llama.

速览

发布时间
更新时间
来源
Hugging Face 社区博客(混合发现)
分类
模型发布
AI 评分
61
阅读原文 前往信息源阅读完整正文
推荐理由

约300M参数的draft模型换最高3.18倍吞吐,贪心输出不变,LFM2.5-2.6B在M4 Max达139 tok/s,本地agent门槛被拉低。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:Hugging Face 发布 LFM2.5 系列 DSpark 草稿模型,推理速度最高提升 3.18 倍。2026年8月21日。https://new.nat6.net/news/cmt1rv5n8066iroovaxgoej1b/

查看全部 →