モデル公開

Hugging Face、LFM2.5シリーズのDSparkドラフトモデルをリリース、推論速度を最大3.18倍向上

原題:Up to 3.2x Faster Inference with LFM2.5-DSpark

AI 要約

Hugging FaceはLFM2.5シリーズ3モデルのDSparkドラフトモデルチェックポイントをリリースした。投機的デコーディングにより出力品質を変えることなく、GPUスループットを最大3.18倍、エッジ側で最大2.87倍向上させる。ドラフトモデルは約300Mパラメータで、LFM2.5-2.6Bの関数呼び出しレイテンシを平均57%削減。すでにオープンソース化され、llama.cppとSGLangをサポートする。

要点

  • Hugging FaceはLFM2.
  • 5シリーズ3モデルのDSparkドラフトモデルチェックポイントをリリースした。
  • 投機的デコーディングにより出力品質を変えることなく、GPUスループットを最大3.
  • 18倍、エッジ側で最大2.
  • 87倍向上させる。

概要

公開日時
更新日時
出典
Hugging Face 社区博客(混合发现)
カテゴリ
モデル公開
AI スコア
61
原文を読む 情報源で全文を読む
おすすめの理由

约300M参数的draft模型换最高3.18倍吞吐,贪心输出不变,LFM2.5-2.6B在M4 Max达139 tok/s,本地agent门槛被拉低。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:Hugging Face、LFM2.5シリーズのDSparkドラフトモデルをリリース、推論速度を最大3.18倍向上。2026年8月21日。https://new.nat6.net/ja/news/cmt1rv5n8066iroovaxgoej1b/

すべて見る →