El servidor de llama.cpp añade gestión de múltiples modelos
Título original:New in llama.cpp: Model Management
Resumen de IA
El servidor de llama.cpp incorpora una gestión de múltiples modelos similar a la de Ollama. La función emplea una arquitectura multiproceso en la que cada modelo se ejecuta de forma independiente, garantizando que el fallo de un modelo no afecte a otros servicios. El sistema admite el descubrimiento automático de archivos de modelos GGUF locales, la carga bajo demanda y, por defecto, un mecanismo LRU que gestiona hasta 4 modelos cargados simultáneamente. Los usuarios pueden enrutar a un modelo específico mediante el campo de modelo de la solicitud y usar la API para cargar, descargar y listar modelos. Todos los modelos cargados pueden heredar la configuración unificada del enrutador, y también se admite la configuración individual de parámetros por modelo mediante archivos predefinidos. La interfaz web integrada también permite cambiar de modelo.
Puntos clave
- El servidor de llama.
- cpp incorpora una gestión de múltiples modelos similar a la de Ollama.
- La función emplea una arquitectura multiproceso en la que cada modelo se ejecuta de forma…
- El sistema admite el descubrimiento automático de archivos de modelos GGUF locales,la carga bajo…
- Los usuarios pueden enrutar a un modelo específico mediante el campo de modelo de la solicitud y…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- Hugging Face 社区博客(混合发现)
- Categoría
- Otros
- Puntuación IA
- 76
本地跑模型终于能像 Ollama 一样热切换,开发调试效率大幅提升
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: El servidor de llama.cpp añade gestión de múltiples modelos. 11. diciembre 2025. https://new.nat6.net/es/news/cmoegbhak00a4slxx4drrrsd4/