Другое

Сервер llama.cpp получил поддержку управления несколькими моделями

Оригинальный заголовок:New in llama.cpp: Model Management

ИИ-резюме

Сервер llama.cpp получил функцию управления несколькими моделями, аналогичную Ollama. Функция использует многопроцессную архитектуру: каждая модель работает независимо, поэтому сбой одной модели не влияет на другие сервисы. Система поддерживает автоматическое обнаружение локальных файлов моделей GGUF, загрузку по требованию и по умолчанию использует механизм LRU для управления максимум четырьмя одновременно загруженными моделями. Пользователи могут маршрутизировать запросы к конкретной модели через поле модели в запросе, а также использовать API для загрузки, выгрузки и просмотра списка. Все загруженные модели могут наследовать единые настройки маршрутизатора, а также поддерживают индивидуальную настройку параметров для каждой модели через файлы предустановок. Встроенный Web UI также поддерживает переключение моделей.

Ключевые моменты

  • Сервер llama.
  • cpp получил функцию управления несколькими моделями,аналогичную Ollama.
  • Функция использует многопроцессную архитектуру: каждая модель работает независимо,поэтому сбой…
  • Система поддерживает автоматическое обнаружение локальных файлов моделей GGUF,загрузку по…
  • Пользователи могут маршрутизировать запросы к конкретной модели через поле модели в запросе,а…

Кратко

Опубликовано
Обновлено
Источник
Hugging Face 社区博客(混合发现)
Категория
Другое
Оценка ИИ
76
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

本地跑模型终于能像 Ollama 一样热切换,开发调试效率大幅提升

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Сервер llama.cpp получил поддержку управления несколькими моделями. 11 декабря 2025. https://new.nat6.net/ru/news/cmoegbhak00a4slxx4drrrsd4/

Смотреть все →