Khác

Máy chủ llama.cpp bổ sung tính năng quản lý đa mô hình

Tiêu đề gốc:New in llama.cpp: Model Management

Tóm tắt AI

Máy chủ llama.cpp bổ sung tính năng quản lý đa mô hình tương tự Ollama. Tính năng dùng kiến trúc đa tiến trình, mỗi mô hình chạy độc lập, đảm bảo một mô hình gặp sự cố không ảnh hưởng dịch vụ khác. Hệ thống hỗ trợ tự động phát hiện tệp mô hình GGUF cục bộ, tải theo nhu cầu, mặc định dùng cơ chế LRU quản lý tối đa 4 mô hình tải đồng thời. Người dùng có thể định tuyến đến mô hình cụ thể qua trường mô hình trong yêu cầu, dùng API để tải, gỡ tải và xem danh sách. Mọi mô hình đã tải có thể kế thừa cấu hình chung của bộ định tuyến, cũng hỗ trợ cấu hình tham số riêng cho từng mô hình qua tệp preset. Web UI tích hợp cũng hỗ trợ chuyển đổi mô hình.

Thông tin chính

  • Máy chủ llama.
  • cpp bổ sung tính năng quản lý đa mô hình tương tự Ollama.
  • Tính năng dùng kiến trúc đa tiến trình,mỗi mô hình chạy độc lập,đảm bảo một mô hình gặp sự cố…
  • Hệ thống hỗ trợ tự động phát hiện tệp mô hình GGUF cục bộ,tải theo nhu cầu,mặc định dùng cơ chế…
  • Người dùng có thể định tuyến đến mô hình cụ thể qua trường mô hình trong yêu cầu,dùng API để…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
Hugging Face 社区博客(混合发现)
Danh mục
Khác
Điểm AI
76
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

本地跑模型终于能像 Ollama 一样热切换,开发调试效率大幅提升

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Máy chủ llama.cpp bổ sung tính năng quản lý đa mô hình. 11 tháng 12 2025. https://new.nat6.net/vi/news/cmoegbhak00a4slxx4drrrsd4/

Xem tất cả →