Produk & Aplikasi

SpecForge v0.3.0 dirilis: menyatukan stack speculative decoding terpisah dan co-located, menambah model draf SpecBundle terbuka

Judul asli:Blog SpecForge v0.3.0: a Unified Disaggregated and Colocated Speculative Decoding Stack, and New Open SpecBundle Draft Models When we first released SpecForge, a training job owned both the frozen target model and the draft model being optimized. This made EAGLE3 draft-model training practical and directly compatible with SG... The SpecForge Team

Ringkasan AI

SpecForge v0.3.0 memisahkan inferensi model target dari pelatihan model draf, mendukung berbagai algoritma speculative decoding seperti EAGLE3, EAGLE3.1, P-EAGLE, DFlash, Domino, dan DSpark, serta menyatukan alur kerja online, offline, dan terpisah.

Poin utama

  • SpecForge v0.
  • 0 memisahkan inferensi model target dari pelatihan model draf,mendukung berbagai algoritma…
  • 1,P-EAGLE,DFlash,Domino,dan DSpark,serta menyatukan alur kerja online,offline,dan terpisah.

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
LMSYS Blog
Kategori
Produk & Aplikasi
Skor AI
72
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

将目标模型推理与草稿模型训练分离,让两种工作负载可独立扩缩,改变了投机解码训练中资源配比必须硬编码的旧模式,资源规划可按模型和序列长度灵活调整。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: SpecForge v0.3.0 dirilis: menyatukan stack speculative decoding terpisah dan co-located, menambah model draf SpecBundle terbuka. 4 Agustus 2026. https://new.nat6.net/id/news/cmseyfjcz1au8ro2enx0b7os6/

Lihat semua →