Step 3.7 Flash: 198B vision model na kayang patakbuhin sa desktop-level na device
Orihinal na pamagat:A 198B vision model, running on a box that sits on a desk. This is what we built Step 3.7 Flash for....
AI summary
Inilabas ng StepFun ang Step 3.7 Flash, isang 198B parameter vision model na dinisenyo para patakbuhin sa mga desktop device tulad ng DGX Spark. Ipinakita ng mga pagsubok ng user na ang 128GB unified memory ang threshold para patakbuhin ito, at humigit-kumulang 104GB ang ginagamit ng modelo. Hindi kailangan ng opisyal na dedicated llama.cpp branch para sa deployment; sapat na ang mainline version. May trade-off sa haba ng context: kapag naka-enable ang vision, 64K ang limitasyon batay sa q8 KV cache; para magamit ang pinakamataas na 256K context, kailangang i-disable ang vision at lumipat sa q4 KV cache, kung saan humigit-kumulang 114GB ang kabuuang ginagamit ng modelo at cache. Reasoning model ang modelong ito, at maaaring kumonsumo ng malaking max_tokens ang proseso ng pag-iisip, kaya kailangang mag-ingat sa setting.
Mahahalagang impormasyon
- Inilabas ng StepFun ang Step 3.
- 7 Flash,isang 198B parameter vision model na dinisenyo para patakbuhin sa mga desktop device tulad…
- Ipinakita ng mga pagsubok ng user na ang 128GB unified memory ang threshold para patakbuhin ito,at…
- Hindi kailangan ng opisyal na dedicated llama.
- cpp branch para sa deployment
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- X:阶跃星辰 StepFun (@StepFun_ai)
- Kategorya
- Mga Tutorial at Tip
- AI na marka
- 80
把 198B 的视觉模型塞进一台桌面盒子,还跑通了,这本身就是个小里程碑。更关键的是,这篇实战直接帮你绕开了三个大坑,省下的三小时够你喝杯咖啡慢慢试了。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Step 3.7 Flash: 198B vision model na kayang patakbuhin sa desktop-level na device. 31 Mayo 2026. https://new.nat6.net/fil/news/cmptg4k4t09zzsluzw0x9fbxd/