Sonstiges

llama.cpp-Server erhält Multi-Modell-Verwaltung

Originaltitel:New in llama.cpp: Model Management

KI-Zusammenfassung

Der llama.cpp-Server bietet nun eine Multi-Modell-Verwaltung ähnlich Ollama. Die Funktion nutzt eine Multiprozess-Architektur, in der jedes Modell unabhängig läuft, sodass ein Absturz eines Modells andere Dienste nicht beeinträchtigt. Das System erkennt lokale GGUF-ModellDateien automatisch, lädt sie bei Bedarf und verwaltet standardmäßig per LRU-Mechanismus bis zu vier gleichzeitig geladene Modelle. Nutzer können über das Modellfeld in Anfragen an ein bestimmtes Modell routen und per API laden, entladen und auflisten. Alle geladenen Modelle können die einheitlichen Einstellungen des Routers erben; über Preset-Dateien lassen sich zudem Parameter pro Modell konfigurieren. Auch die integrierte Web-UI unterstützt den Modellwechsel.

Kernpunkte

  • Der llama.
  • cpp-Server bietet nun eine Multi-Modell-Verwaltung ähnlich Ollama.
  • Die Funktion nutzt eine Multiprozess-Architektur,in der jedes Modell unabhängig läuft,sodass ein…
  • Das System erkennt lokale GGUF-ModellDateien automatisch,lädt sie bei Bedarf und verwaltet…
  • Nutzer können über das Modellfeld in Anfragen an ein bestimmtes Modell routen und per API…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
Hugging Face 社区博客(混合发现)
Kategorie
Sonstiges
KI-Bewertung
76
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

本地跑模型终于能像 Ollama 一样热切换,开发调试效率大幅提升

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: llama.cpp-Server erhält Multi-Modell-Verwaltung. 11. Dezember 2025. https://new.nat6.net/de/news/cmoegbhak00a4slxx4drrrsd4/

Alle ansehen →