Hướng dẫn & mẹo

Step 3.7 Flash: mô hình thị giác 198B chạy được trên thiết bị cấp máy tính để bàn

Tiêu đề gốc:A 198B vision model, running on a box that sits on a desk. This is what we built Step 3.7 Flash for....

Tóm tắt AI

StepFun phát hành Step 3.7 Flash, mô hình thị giác 198B tham số, hướng đến chạy trên các thiết bị để bàn như DGX Spark. Thử nghiệm người dùng cho thấy 128GB bộ nhớ hợp nhất là ngưỡng chạy, mô hình chiếm khoảng 104GB. Triển khai không cần nhánh llama.cpp chuyên dụng chính thức, bản mainline là đủ. Có đánh đổi về độ dài ngữ cảnh: khi bật tính năng thị giác, giới hạn là 64K dựa trên q8 KV cache; nếu muốn dùng ngữ cảnh tối đa 256K thì phải tắt thị giác và chuyển sang q4 KV cache, khi đó mô hình và cache chiếm tổng cộng khoảng 114GB bộ nhớ. Đây là mô hình suy luận, quá trình suy nghĩ có thể tiêu tốn nhiều max_tokens, cần lưu ý khi thiết lập.

Thông tin chính

  • StepFun phát hành Step 3.
  • 7 Flash,mô hình thị giác 198B tham số,hướng đến chạy trên các thiết bị để bàn như DGX Spark.
  • Thử nghiệm người dùng cho thấy 128GB bộ nhớ hợp nhất là ngưỡng chạy,mô hình chiếm khoảng 104GB.
  • Triển khai không cần nhánh llama.
  • cpp chuyên dụng chính thức,bản mainline là đủ.

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
X:阶跃星辰 StepFun (@StepFun_ai)
Danh mục
Hướng dẫn & mẹo
Điểm AI
80
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

把 198B 的视觉模型塞进一台桌面盒子,还跑通了,这本身就是个小里程碑。更关键的是,这篇实战直接帮你绕开了三个大坑,省下的三小时够你喝杯咖啡慢慢试了。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Step 3.7 Flash: mô hình thị giác 198B chạy được trên thiết bị cấp máy tính để bàn. 31 tháng 5 2026. https://new.nat6.net/vi/news/cmptg4k4t09zzsluzw0x9fbxd/

Xem tất cả →