製品とアプリ

SpecForge v0.3.0リリース:分離型と共置型投機的デコーディングスタックを統合、オープンなSpecBundleドラフトモデルを追加

原題:Blog SpecForge v0.3.0: a Unified Disaggregated and Colocated Speculative Decoding Stack, and New Open SpecBundle Draft Models When we first released SpecForge, a training job owned both the frozen target model and the draft model being optimized. This made EAGLE3 draft-model training practical and directly compatible with SG... The SpecForge Team

AI 要約

SpecForge v0.3.0はターゲットモデルの推論とドラフトモデルのトレーニングを分離し、EAGLE3、EAGLE3.1、P-EAGLE、DFlash、Domino、DSparkなど多様な投機的デコーディングアルゴリズムをサポート。オンライン、オフライン、分離型ワークフローを統合する。

要点

  • SpecForge v0.
  • 0はターゲットモデルの推論とドラフトモデルのトレーニングを分離し、EAGLE3、EAGLE3.
  • 1、P-EAGLE、DFlash、Domino、DSparkなど多様な投機的デコーディングアルゴリズムをサポート。
  • オンライン、オフライン、分離型ワークフローを統合する

概要

公開日時
更新日時
出典
LMSYS Blog
カテゴリ
製品とアプリ
AI スコア
72
原文を読む 情報源で全文を読む
おすすめの理由

将目标模型推理与草稿模型训练分离,让两种工作负载可独立扩缩,改变了投机解码训练中资源配比必须硬编码的旧模式,资源规划可按模型和序列长度灵活调整。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:SpecForge v0.3.0リリース:分離型と共置型投機的デコーディングスタックを統合、オープンなSpecBundleドラフトモデルを追加。2026年8月4日。https://new.nat6.net/ja/news/cmseyfjcz1au8ro2enx0b7os6/

すべて見る →