Otros

El servidor de llama.cpp añade gestión de múltiples modelos

Título original:New in llama.cpp: Model Management

Resumen de IA

El servidor de llama.cpp incorpora una gestión de múltiples modelos similar a la de Ollama. La función emplea una arquitectura multiproceso en la que cada modelo se ejecuta de forma independiente, garantizando que el fallo de un modelo no afecte a otros servicios. El sistema admite el descubrimiento automático de archivos de modelos GGUF locales, la carga bajo demanda y, por defecto, un mecanismo LRU que gestiona hasta 4 modelos cargados simultáneamente. Los usuarios pueden enrutar a un modelo específico mediante el campo de modelo de la solicitud y usar la API para cargar, descargar y listar modelos. Todos los modelos cargados pueden heredar la configuración unificada del enrutador, y también se admite la configuración individual de parámetros por modelo mediante archivos predefinidos. La interfaz web integrada también permite cambiar de modelo.

Puntos clave

  • El servidor de llama.
  • cpp incorpora una gestión de múltiples modelos similar a la de Ollama.
  • La función emplea una arquitectura multiproceso en la que cada modelo se ejecuta de forma…
  • El sistema admite el descubrimiento automático de archivos de modelos GGUF locales,la carga bajo…
  • Los usuarios pueden enrutar a un modelo específico mediante el campo de modelo de la solicitud y…

Resumen rápido

Publicado
Actualizado
Fuente
Hugging Face 社区博客(混合发现)
Categoría
Otros
Puntuación IA
76
Leer el original Leer el artículo completo en la fuente original
Por qué importa

本地跑模型终于能像 Ollama 一样热切换,开发调试效率大幅提升

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: El servidor de llama.cpp añade gestión de múltiples modelos. 11. diciembre 2025. https://new.nat6.net/es/news/cmoegbhak00a4slxx4drrrsd4/

Ver todo →