Bagong multi-model management feature ng llama.cpp server
Orihinal na pamagat:New in llama.cpp: Model Management
AI summary
Nagdagdag ang llama.cpp server ng multi-model management feature na katulad ng Ollama. Gumagamit ang feature na ito ng multi-process architecture, kung saan independyenteng tumatakbo ang bawat modelo, na tinitiyak na hindi maaapektuhan ang ibang serbisyo kapag bumagsak ang isang modelo. Sinusuportahan ng system ang automatic discovery ng local GGUF model files, on-demand loading, at default na gumagamit ng LRU mechanism upang pamahalaan ang hanggang 4 na modelong sabay na naka-load. Maaaring i-route ng user sa partikular na modelo sa pamamagitan ng model field sa request, at gumamit ng API para sa loading, unloading at list viewing. Lahat ng naka-load na modelo ay maaaring magmana ng unified settings ng router, at sinusuportahan din ang indibidwal na configuration ng parameters para sa bawat modelo sa pamamagitan ng preset files. Sinusuportahan din ng built-in Web UI ang pagpapalit ng modelo.
Mahahalagang impormasyon
- Nagdagdag ang llama.
- cpp server ng multi-model management feature na katulad ng Ollama.
- Gumagamit ang feature na ito ng multi-process architecture,kung saan independyenteng tumatakbo ang…
- Sinusuportahan ng system ang automatic discovery ng local GGUF model files,on-demand loading,at…
- Maaaring i-route ng user sa partikular na modelo sa pamamagitan ng model field sa request,at…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- Hugging Face 社区博客(混合发现)
- Kategorya
- Iba pa
- AI na marka
- 76
本地跑模型终于能像 Ollama 一样热切换,开发调试效率大幅提升
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Bagong multi-model management feature ng llama.cpp server. 11 Disyembre 2025. https://new.nat6.net/fil/news/cmoegbhak00a4slxx4drrrsd4/