Máy chủ llama.cpp bổ sung tính năng quản lý đa mô hình
Tiêu đề gốc:New in llama.cpp: Model Management
Tóm tắt AI
Máy chủ llama.cpp bổ sung tính năng quản lý đa mô hình tương tự Ollama. Tính năng dùng kiến trúc đa tiến trình, mỗi mô hình chạy độc lập, đảm bảo một mô hình gặp sự cố không ảnh hưởng dịch vụ khác. Hệ thống hỗ trợ tự động phát hiện tệp mô hình GGUF cục bộ, tải theo nhu cầu, mặc định dùng cơ chế LRU quản lý tối đa 4 mô hình tải đồng thời. Người dùng có thể định tuyến đến mô hình cụ thể qua trường mô hình trong yêu cầu, dùng API để tải, gỡ tải và xem danh sách. Mọi mô hình đã tải có thể kế thừa cấu hình chung của bộ định tuyến, cũng hỗ trợ cấu hình tham số riêng cho từng mô hình qua tệp preset. Web UI tích hợp cũng hỗ trợ chuyển đổi mô hình.
Thông tin chính
- Máy chủ llama.
- cpp bổ sung tính năng quản lý đa mô hình tương tự Ollama.
- Tính năng dùng kiến trúc đa tiến trình,mỗi mô hình chạy độc lập,đảm bảo một mô hình gặp sự cố…
- Hệ thống hỗ trợ tự động phát hiện tệp mô hình GGUF cục bộ,tải theo nhu cầu,mặc định dùng cơ chế…
- Người dùng có thể định tuyến đến mô hình cụ thể qua trường mô hình trong yêu cầu,dùng API để…
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- Hugging Face 社区博客(混合发现)
- Danh mục
- Khác
- Điểm AI
- 76
本地跑模型终于能像 Ollama 一样热切换,开发调试效率大幅提升
Thực thể liên quan
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: Máy chủ llama.cpp bổ sung tính năng quản lý đa mô hình. 11 tháng 12 2025. https://new.nat6.net/vi/news/cmoegbhak00a4slxx4drrrsd4/