llama.cpp-Server erhält Multi-Modell-Verwaltung
Originaltitel:New in llama.cpp: Model Management
KI-Zusammenfassung
Der llama.cpp-Server bietet nun eine Multi-Modell-Verwaltung ähnlich Ollama. Die Funktion nutzt eine Multiprozess-Architektur, in der jedes Modell unabhängig läuft, sodass ein Absturz eines Modells andere Dienste nicht beeinträchtigt. Das System erkennt lokale GGUF-ModellDateien automatisch, lädt sie bei Bedarf und verwaltet standardmäßig per LRU-Mechanismus bis zu vier gleichzeitig geladene Modelle. Nutzer können über das Modellfeld in Anfragen an ein bestimmtes Modell routen und per API laden, entladen und auflisten. Alle geladenen Modelle können die einheitlichen Einstellungen des Routers erben; über Preset-Dateien lassen sich zudem Parameter pro Modell konfigurieren. Auch die integrierte Web-UI unterstützt den Modellwechsel.
Kernpunkte
- Der llama.
- cpp-Server bietet nun eine Multi-Modell-Verwaltung ähnlich Ollama.
- Die Funktion nutzt eine Multiprozess-Architektur,in der jedes Modell unabhängig läuft,sodass ein…
- Das System erkennt lokale GGUF-ModellDateien automatisch,lädt sie bei Bedarf und verwaltet…
- Nutzer können über das Modellfeld in Anfragen an ein bestimmtes Modell routen und per API…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- Hugging Face 社区博客(混合发现)
- Kategorie
- Sonstiges
- KI-Bewertung
- 76
本地跑模型终于能像 Ollama 一样热切换,开发调试效率大幅提升
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: llama.cpp-Server erhält Multi-Modell-Verwaltung. 11. Dezember 2025. https://new.nat6.net/de/news/cmoegbhak00a4slxx4drrrsd4/