其他

llama.cpp 服务器新增多模型管理功能

原文标题:New in llama.cpp: Model Management

AI 摘要

llama.cpp 服务器新增了类似 Ollama 的多模型管理功能。该功能采用多进程架构,每个模型独立运行,确保单个模型崩溃不影响其他服务。系统支持自动发现本地 GGUF 模型文件、按需加载,并默认采用 LRU 机制管理最多同时加载4个模型。用户可通过请求中的模型字段路由到特定模型,并可使用 API 进行加载、卸载和列表查看。所有加载的模型可继承路由器的统一设置,也支持通过预设文件为每个模型单独配置参数。内置 Web UI 同样支持模型切换。

关键信息

  • cpp 服务器新增了类似 Ollama 的多模型管理功能。
  • 该功能采用多进程架构,每个模型独立运行,确保单个模型崩溃不影响其他服务。
  • 系统支持自动发现本地 GGUF 模型文件、按需加载,并默认采用 LRU 机制管理最多同时加载4个模型。
  • 用户可通过请求中的模型字段路由到特定模型,并可使用 API 进行加载、卸载和列表查看。
  • 所有加载的模型可继承路由器的统一设置,也支持通过预设文件为每个模型单独配置参数。

速览

发布时间
更新时间
来源
Hugging Face 社区博客(混合发现)
分类
其他
AI 评分
76
阅读原文 前往信息源阅读完整正文
推荐理由

本地跑模型终于能像 Ollama 一样热切换,开发调试效率大幅提升

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:llama.cpp 服务器新增多模型管理功能。2025年12月11日。https://new.nat6.net/news/cmoegbhak00a4slxx4drrrsd4/

查看全部 →
  • Anthropic调研:2026年企业AI智能体应用趋势

    Anthropic与Material调研500余位技术领导者显示,57%企业已将AI智能体用于多阶段工作流,16%实现跨职能部署。编码是核心场景,90%用于开发辅助,86%用于生产代码,平均节省近六成时间。80%受访者称投资已产生可衡量回…

    Claude:Blog(网页)其他

  • CUGA 登陆 Hugging Face:普及可配置的通用 AI 智能体

    开源可配置通用智能体 CUGA 现已集成至 Hugging Face Spaces,便于开发者便捷实验。该智能体在复杂任务基准测试中表现卓越,在包含 457 个 API、750 个真实任务的 AppWorld 基准排名第一,在 WebAr…

    Hugging Face 社区博客(混合发现)其他AI 评分 83

  • 介绍 swift-huggingface:完整的 Hugging Face Swift 客户端

    swift-huggingface 是一个全新的 Swift 客户端,旨在彻底解决旧库下载模型缓慢、不可靠且不支持断点续传的问题。它提供完整的 Hub API 覆盖,核心改进包括具备进度跟踪和断点续传的可靠下载、与 Python 生态共享…

    Hugging Face 社区博客(混合发现)其他AI 评分 76

  • 利用Claude微调开源大语言模型的新途径

    Anthropic的研究人员探索了一种新方法:使用其强大的闭源AI助手Claude来生成高质量的指令遵循数据,并用这些数据对较小的开源模型(如LLaMA系列)进行监督微调。这项实验旨在展示如何利用尖端闭源模型的能力来指导和改进可公开访问的…

    Hugging Face 社区博客(混合发现)其他AI 评分 76

  • xAI 发布 Grok Voice Agent API

    xAI 开放 Grok Voice Agent API,基于自研语音栈(VAD、tokenizer、音频模型),Big Bench Audio 基准排名第一,首音频延迟低于 1 秒(比竞品快近 5 倍),定价 $0.05/分钟。支持数十种…

    xAI:News(网页)其他