その他

NVIDIA DGX SparkでGPT-OSSを最適化:ローカル大規模モデル展開を実現

原題:Tech Blog Optimizing GPT-OSS on NVIDIA DGX Spark: Getting the Most Out of Your Spark We’ve got some exciting updates about the NVIDIA DGX Spark\! In the week following the official launch, we collaborated closely with NVIDIA and successfully brought GPT-OSS 20B and GPT-OSS 120B suppor... Jerry Zhou November 3, 2025

AI 要約

NVIDIAとの協力により、DGX Spark上でSGLangを通じてGPT-OSS 20Bと120Bモデルのサポートに成功し、20B版で約70 tokens/s、120B版で約50 tokens/sの生成速度を実現、現時点で最適な水準に達した。ユーザーはDockerでSGLangサービスを展開し、Open WebUIに接続してローカルチャットを実現するか、LMRouterでリクエスト形式を変換してClaude Codeを完全にローカルで実行できる。この方案により、DGX Spark上で数百億パラメータのローカルコーディングエージェントの展開が現実となった。

要点

  • NVIDIAとの協力により、DGX Spark上でSGLangを通じてGPT-OSS 20Bと120Bモデルのサポートに成功し、20B版で約70 tokens/s、120B版で約50 tokens/…
  • ユーザーはDockerでSGLangサービスを展開し、Open WebUIに接続してローカルチャットを実現するか、LMRouterでリクエスト形式を変換してClaude Codeを完全にローカルで実…
  • この方案により、DGX Spark上で数百億パラメータのローカルコーディングエージェントの展開が現実となった

概要

公開日時
更新日時
出典
LMSYS Blog
カテゴリ
その他
原文を読む 情報源で全文を読む
おすすめの理由

DGX Spark本地跑通Claude Code完全离线,隐私敏感开发者的新选择

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:NVIDIA DGX SparkでGPT-OSSを最適化:ローカル大規模モデル展開を実現。2025年11月3日。https://new.nat6.net/ja/news/cmnxbjke50071sln0fe680fef/

すべて見る →
  • 何に合わせるのか?MiniMax M2におけるエージェント汎化の再考

    MiniMaxはHugging Faceでブログを公開し、そのM2エージェントモデルの汎化能力を検討した。記事の中核は、エージェントが「何に」合わせるべきかという基準や目標を再考し、未見のタスクや環境での汎用性能を向上させることにある。こ…

    Hugging Face 社区博客(混合发现)その他AI スコア 83

  • Skills によるフロントエンドデザインの改善

    LLM が生成するインターフェースは「分布の収束」により、Inter フォントと紫のグラデーションを組み合わせた同質的なデザインに陥りがちだ。Anthropic は Skills 機能による解決を提案する。タイポグラフィ、アニメーション、…

    Claude:Blog(网页)その他

  • AIに就職面接を

    AIの提案がますます重要になる中、体系的な評価体制の構築が急務となっている。就職面接のような厳格なテストを通じて、AIの実際の能力と信頼性を全面的に検証し、その提案が信頼に値することを確保する。

    Ethan Mollick:One Useful Thing(RSS)その他

  • MiniMax、新世代音声モデルSpeech 2.6を発表

    MiniMaxは音声モデルSpeech 2.6を発表した。エンドツーエンド遅延は250ミリ秒以内に低下し、リアルタイム対話をサポートする。多言語の特殊フォーマット解析機能を追加し、URL、メール、電話、日付、金額を自動朗読でき、前処理が不…

    MiniMax:Blog(网页)その他

  • サティア・ナデラ:MicrosoftはいかにAGIに備えるか

    サティア・ナデラ氏が、Microsoftの汎用人工知能(AGI)に向けた戦略的布陣と技術的経路を説明し、AIインフラ分野における中核的な投資を明らかにする。内容にはFairwater 2の現地視察が含まれ、これは現在世界で最も強力なAIデ…

    Dwarkesh Patel:Podcast & Blog(RSS)その他