Sonstiges

GPT-OSS auf NVIDIA DGX Spark optimieren: lokale Bereitstellung großer Modelle

Originaltitel:Tech Blog Optimizing GPT-OSS on NVIDIA DGX Spark: Getting the Most Out of Your Spark We’ve got some exciting updates about the NVIDIA DGX Spark\! In the week following the official launch, we collaborated closely with NVIDIA and successfully brought GPT-OSS 20B and GPT-OSS 120B suppor... Jerry Zhou November 3, 2025

KI-Zusammenfassung

In Zusammenarbeit mit NVIDIA wurden auf dem DGX Spark über SGLang die Modelle GPT-OSS 20B und 120B erfolgreich unterstützt, mit Generierungsgeschwindigkeiten von etwa 70 tokens/s für die 20B-Version und etwa 50 tokens/s für die 120B-Version – derzeit Bestwerte. Nutzer können den SGLang-Dienst per Docker bereitstellen, ihn für lokale Chats an Open WebUI anbinden oder mit LMRouter das Anforderungsformat umwandeln, um Claude Code vollständig lokal zu betreiben. Damit wird die Bereitstellung lokaler Coding-Agenten mit mehreren hundert Milliarden Parametern auf dem DGX Spark Realität.

Kernpunkte

  • In Zusammenarbeit mit NVIDIA wurden auf dem DGX Spark über SGLang die Modelle GPT-OSS 20B und 120B…
  • Nutzer können den SGLang-Dienst per Docker bereitstellen,ihn für lokale Chats an Open WebUI…
  • Damit wird die Bereitstellung lokaler Coding-Agenten mit mehreren hundert Milliarden Parametern…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
LMSYS Blog
Kategorie
Sonstiges
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

DGX Spark本地跑通Claude Code完全离线,隐私敏感开发者的新选择

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: GPT-OSS auf NVIDIA DGX Spark optimieren: lokale Bereitstellung großer Modelle. 3. November 2025. https://new.nat6.net/de/news/cmnxbjke50071sln0fe680fef/

Alle ansehen →