教程与技巧

Step 3.7 Flash:可运行于桌面级设备的198B视觉模型

原文标题:A 198B vision model, running on a box that sits on a desk. This is what we built Step 3.7 Flash for....

AI 摘要

阶跃星辰发布了Step 3.7 Flash,这是一款198B参数的视觉模型,旨在DGX Spark等桌面设备上运行。用户实测表明,128GB统一内存是运行门槛,模型占用约104GB。部署无需官方专用llama.cpp分支,主线版本即可。在上下文长度上存在权衡:启用视觉功能时,基于q8 KV cache的64K为上限;若要使用最高256K上下文,则需禁用视觉并切换至q4 KV cache,此时模型与缓存共占约114GB内存。该模型是推理模型,思考过程可能消耗大量max_tokens,需注意设置。

关键信息

  • 阶跃星辰发布了Step 3.
  • 7 Flash,这是一款198B参数的视觉模型,旨在DGX Spark等桌面设备上运行。
  • 用户实测表明,128GB统一内存是运行门槛,模型占用约104GB。
  • 部署无需官方专用llama.
  • cpp分支,主线版本即可。

速览

发布时间
更新时间
来源
X:阶跃星辰 StepFun (@StepFun_ai)
分类
教程与技巧
AI 评分
80
阅读原文 前往信息源阅读完整正文
推荐理由

把 198B 的视觉模型塞进一台桌面盒子,还跑通了,这本身就是个小里程碑。更关键的是,这篇实战直接帮你绕开了三个大坑,省下的三小时够你喝杯咖啡慢慢试了。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:Step 3.7 Flash:可运行于桌面级设备的198B视觉模型。2026年5月31日。https://new.nat6.net/news/cmptg4k4t09zzsluzw0x9fbxd/

查看全部 →