Mengoptimumkan GPT-OSS pada NVIDIA DGX Spark: merealisasikan penggunaan model besar secara setempat
Tajuk asal:Tech Blog Optimizing GPT-OSS on NVIDIA DGX Spark: Getting the Most Out of Your Spark We’ve got some exciting updates about the NVIDIA DGX Spark\! In the week following the official launch, we collaborated closely with NVIDIA and successfully brought GPT-OSS 20B and GPT-OSS 120B suppor... Jerry Zhou November 3, 2025
Ringkasan AI
Dengan kerjasama NVIDIA, GPT-OSS 20B dan 120B berjaya disokong pada DGX Spark melalui SGLang, mencapai kelajuan penjanaan kira-kira 70 token/s untuk versi 20B dan kira-kira 50 token/s untuk versi 120B, iaitu tahap terbaik pada masa ini. Pengguna boleh menggunakan perkhidmatan SGLang melalui Docker, menyambung ke Open WebUI untuk perbualan setempat, atau menggunakan LMRouter untuk menukar format permintaan bagi menjalankan Claude Code sepenuhnya secara setempat. Penyelesaian ini menjadikan penggunaan ejen pengekodan setempat berbilion parameter pada DGX Spark suatu realiti.
Maklumat penting
- Dengan kerjasama NVIDIA,GPT-OSS 20B dan 120B berjaya disokong pada DGX Spark melalui…
- Pengguna boleh menggunakan perkhidmatan SGLang melalui Docker,menyambung ke Open WebUI untuk…
- Penyelesaian ini menjadikan penggunaan ejen pengekodan setempat berbilion parameter pada DGX Spark…
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- LMSYS Blog
- Kategori
- Lain-lain
DGX Spark本地跑通Claude Code完全离线,隐私敏感开发者的新选择
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Mengoptimumkan GPT-OSS pada NVIDIA DGX Spark: merealisasikan penggunaan model besar secara setempat. 3 November 2025. https://new.nat6.net/ms/news/cmnxbjke50071sln0fe680fef/