Iba pa

Pag-optimize ng GPT-OSS sa NVIDIA DGX Spark: lokal na deployment ng malaking modelo

Orihinal na pamagat:Tech Blog Optimizing GPT-OSS on NVIDIA DGX Spark: Getting the Most Out of Your Spark We’ve got some exciting updates about the NVIDIA DGX Spark\! In the week following the official launch, we collaborated closely with NVIDIA and successfully brought GPT-OSS 20B and GPT-OSS 120B suppor... Jerry Zhou November 3, 2025

AI summary

Sa pakikipagtulungan sa NVIDIA, matagumpay na sinuportahan ang GPT-OSS 20B at 120B models sa DGX Spark gamit ang SGLang, na nakamit ang generation speed na humigit-kumulang 70 tokens/s para sa 20B at humigit-kumulang 50 tokens/s para sa 120B, ang pinakamahusay sa kasalukuyan. Maaaring i-deploy ng user ang SGLang service gamit ang Docker, ikonekta ito sa Open WebUI para sa lokal na chat, o gamitin ang LMRouter para i-convert ang request format at ganap na patakbuhin ang Claude Code nang lokal. Ginagawang posible ng solusyong ito ang pag-deploy ng lokal na coding agent na may daan-daang bilyong parameter sa DGX Spark.

Mahahalagang impormasyon

  • Sa pakikipagtulungan sa NVIDIA,matagumpay na sinuportahan ang GPT-OSS 20B at 120B models sa DGX…
  • Maaaring i-deploy ng user ang SGLang service gamit ang Docker,ikonekta ito sa Open WebUI para sa…
  • Ginagawang posible ng solusyong ito ang pag-deploy ng lokal na coding agent na may daan-daang…

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
LMSYS Blog
Kategorya
Iba pa
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

DGX Spark本地跑通Claude Code完全离线,隐私敏感开发者的新选择

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Pag-optimize ng GPT-OSS sa NVIDIA DGX Spark: lokal na deployment ng malaking modelo. 3 Nobyembre 2025. https://new.nat6.net/fil/news/cmnxbjke50071sln0fe680fef/

Tingnan lahat →