チュートリアル

Step 3.7 Flash:デスクトップ級デバイスで動作する198Bビジョンモデル

原題:A 198B vision model, running on a box that sits on a desk. This is what we built Step 3.7 Flash for....

AI 要約

StepFunはStep 3.7 Flashをリリースした。これは198Bパラメータのビジョンモデルで、DGX Sparkなどのデスクトップデバイスでの動作を目指している。ユーザーの実測によると、128GBのユニファイドメモリが動作の閾値で、モデルは約104GBを占有する。デプロイに公式専用のllama.cppブランチは不要で、メインライン版で可能だ。コンテキスト長にはトレードオフがあり、ビジョン機能を有効にするとq8 KV cacheベースで64Kが上限となる。最大256Kコンテキストを使うにはビジョンを無効にしq4 KV cacheに切り替える必要があり、その場合モデルとキャッシュで約114GBのメモリを占める。このモデルは推論モデルであり、思考プロセスが大量のmax_tokensを消費する可能性があるため設定に注意が必要だ。

要点

  • StepFunはStep 3.
  • 7 Flashをリリースした。
  • これは198Bパラメータのビジョンモデルで、DGX Sparkなどのデスクトップデバイスでの動作を目指している。
  • ユーザーの実測によると、128GBのユニファイドメモリが動作の閾値で、モデルは約104GBを占有する。
  • デプロイに公式専用のllama.

概要

公開日時
更新日時
出典
X:阶跃星辰 StepFun (@StepFun_ai)
カテゴリ
チュートリアル
AI スコア
80
原文を読む 情報源で全文を読む
おすすめの理由

把 198B 的视觉模型塞进一台桌面盒子,还跑通了,这本身就是个小里程碑。更关键的是,这篇实战直接帮你绕开了三个大坑,省下的三小时够你喝杯咖啡慢慢试了。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:Step 3.7 Flash:デスクトップ級デバイスで動作する198Bビジョンモデル。2026年5月31日。https://new.nat6.net/ja/news/cmptg4k4t09zzsluzw0x9fbxd/

すべて見る →