Produkte & Apps

SpecForge v0.3.0 veröffentlicht: einheitlicher entkoppelter und co-located Speculative-Decoding-Stack, neue offene SpecBundle-Draft-Modelle

Originaltitel:Blog SpecForge v0.3.0: a Unified Disaggregated and Colocated Speculative Decoding Stack, and New Open SpecBundle Draft Models When we first released SpecForge, a training job owned both the frozen target model and the draft model being optimized. This made EAGLE3 draft-model training practical and directly compatible with SG... The SpecForge Team

KI-Zusammenfassung

SpecForge v0.3.0 trennt die Inferenz des Zielmodells vom Training der Draft-Modelle, unterstützt verschiedene Speculative-Decoding-Algorithmen wie EAGLE3, EAGLE3.1, P-EAGLE, DFlash, Domino und DSpark und vereinheitlicht Online-, Offline- und entkoppelte Workflows.

Kernpunkte

  • SpecForge v0.
  • 0 trennt die Inferenz des Zielmodells vom Training der Draft-Modelle,unterstützt verschiedene…
  • 1,P-EAGLE,DFlash,Domino und DSpark und vereinheitlicht Online-,Offline- und entkoppelte Workflows.

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
LMSYS Blog
Kategorie
Produkte & Apps
KI-Bewertung
72
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

将目标模型推理与草稿模型训练分离,让两种工作负载可独立扩缩,改变了投机解码训练中资源配比必须硬编码的旧模式,资源规划可按模型和序列长度灵活调整。

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: SpecForge v0.3.0 veröffentlicht: einheitlicher entkoppelter und co-located Speculative-Decoding-Stack, neue offene SpecBundle-Draft-Modelle. 4. August 2026. https://new.nat6.net/de/news/cmseyfjcz1au8ro2enx0b7os6/

Alle ansehen →