Step 3.7 Flash: mô hình thị giác 198B chạy được trên thiết bị cấp máy tính để bàn
Tiêu đề gốc:A 198B vision model, running on a box that sits on a desk. This is what we built Step 3.7 Flash for....
Tóm tắt AI
StepFun phát hành Step 3.7 Flash, mô hình thị giác 198B tham số, hướng đến chạy trên các thiết bị để bàn như DGX Spark. Thử nghiệm người dùng cho thấy 128GB bộ nhớ hợp nhất là ngưỡng chạy, mô hình chiếm khoảng 104GB. Triển khai không cần nhánh llama.cpp chuyên dụng chính thức, bản mainline là đủ. Có đánh đổi về độ dài ngữ cảnh: khi bật tính năng thị giác, giới hạn là 64K dựa trên q8 KV cache; nếu muốn dùng ngữ cảnh tối đa 256K thì phải tắt thị giác và chuyển sang q4 KV cache, khi đó mô hình và cache chiếm tổng cộng khoảng 114GB bộ nhớ. Đây là mô hình suy luận, quá trình suy nghĩ có thể tiêu tốn nhiều max_tokens, cần lưu ý khi thiết lập.
Thông tin chính
- StepFun phát hành Step 3.
- 7 Flash,mô hình thị giác 198B tham số,hướng đến chạy trên các thiết bị để bàn như DGX Spark.
- Thử nghiệm người dùng cho thấy 128GB bộ nhớ hợp nhất là ngưỡng chạy,mô hình chiếm khoảng 104GB.
- Triển khai không cần nhánh llama.
- cpp chuyên dụng chính thức,bản mainline là đủ.
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Danh mục
- Hướng dẫn & mẹo
- Điểm AI
- 80
把 198B 的视觉模型塞进一台桌面盒子,还跑通了,这本身就是个小里程碑。更关键的是,这篇实战直接帮你绕开了三个大坑,省下的三小时够你喝杯咖啡慢慢试了。
Thực thể liên quan
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: Step 3.7 Flash: mô hình thị giác 198B chạy được trên thiết bị cấp máy tính để bàn. 31 tháng 5 2026. https://new.nat6.net/vi/news/cmptg4k4t09zzsluzw0x9fbxd/