Lainnya

Mengoptimalkan GPT-OSS di NVIDIA DGX Spark: mewujudkan penerapan model bahasa besar lokal

Judul asli:Tech Blog Optimizing GPT-OSS on NVIDIA DGX Spark: Getting the Most Out of Your Spark We’ve got some exciting updates about the NVIDIA DGX Spark\! In the week following the official launch, we collaborated closely with NVIDIA and successfully brought GPT-OSS 20B and GPT-OSS 120B suppor... Jerry Zhou November 3, 2025

Ringkasan AI

Bekerja sama dengan NVIDIA, SGLang berhasil mendukung model GPT-OSS 20B dan 120B di DGX Spark, mencapai kecepatan generasi sekitar 70 token/detik untuk versi 20B dan sekitar 50 token/detik untuk versi 120B, tingkat terbaik saat ini. Pengguna dapat menerapkan layanan SGLang melalui Docker, terhubung ke Open WebUI untuk obrolan lokal, atau memanfaatkan LMRouter untuk mengonversi format permintaan agar Claude Code berjalan sepenuhnya lokal. Solusi ini menjadikan penerapan agen pengodean lokal berparameter ratusan miliar di DGX Spark menjadi kenyataan.

Poin utama

  • Bekerja sama dengan NVIDIA,SGLang berhasil mendukung model GPT-OSS 20B dan 120B di DGX…
  • Pengguna dapat menerapkan layanan SGLang melalui Docker,terhubung ke Open WebUI untuk obrolan…
  • Solusi ini menjadikan penerapan agen pengodean lokal berparameter ratusan miliar di DGX Spark…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
LMSYS Blog
Kategori
Lainnya
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

DGX Spark本地跑通Claude Code完全离线,隐私敏感开发者的新选择

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Mengoptimalkan GPT-OSS di NVIDIA DGX Spark: mewujudkan penerapan model bahasa besar lokal. 3 November 2025. https://new.nat6.net/id/news/cmnxbjke50071sln0fe680fef/

Lihat semua →