Hugging Face、LFM2.5シリーズのDSparkドラフトモデルをリリース、推論速度を最大3.18倍向上
原題:Up to 3.2x Faster Inference with LFM2.5-DSpark
AI 要約
Hugging FaceはLFM2.5シリーズ3モデルのDSparkドラフトモデルチェックポイントをリリースした。投機的デコーディングにより出力品質を変えることなく、GPUスループットを最大3.18倍、エッジ側で最大2.87倍向上させる。ドラフトモデルは約300Mパラメータで、LFM2.5-2.6Bの関数呼び出しレイテンシを平均57%削減。すでにオープンソース化され、llama.cppとSGLangをサポートする。
要点
- Hugging FaceはLFM2.
- 5シリーズ3モデルのDSparkドラフトモデルチェックポイントをリリースした。
- 投機的デコーディングにより出力品質を変えることなく、GPUスループットを最大3.
- 18倍、エッジ側で最大2.
- 87倍向上させる。
概要
- 公開日時
- 更新日時
- カテゴリ
- モデル公開
- AI スコア
- 61
おすすめの理由
约300M参数的draft模型换最高3.18倍吞吐,贪心输出不变,LFM2.5-2.6B在M4 Max达139 tok/s,本地agent门槛被拉低。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:Hugging Face、LFM2.5シリーズのDSparkドラフトモデルをリリース、推論速度を最大3.18倍向上。2026年8月21日。https://new.nat6.net/ja/news/cmt1rv5n8066iroovaxgoej1b/