Lainnya

Server llama.cpp menambahkan fitur manajemen multi-model

Judul asli:New in llama.cpp: Model Management

Ringkasan AI

Server llama.cpp menambahkan fitur manajemen multi-model serupa Ollama. Fitur ini menggunakan arsitektur multiproses, dengan setiap model berjalan secara independen sehingga kegagalan satu model tidak memengaruhi layanan lain. Sistem mendukung penemuan otomatis berkas model GGUF lokal, pemuatan sesuai permintaan, dan secara default menggunakan mekanisme LRU untuk mengelola maksimal 4 model yang dimuat bersamaan. Pengguna dapat merutekan ke model tertentu melalui bidang model dalam permintaan, dan menggunakan API untuk memuat, membongkar, serta melihat daftar. Semua model yang dimuat dapat mewarisi pengaturan terpadu dari router, dan juga mendukung konfigurasi parameter terpisah untuk setiap model melalui berkas preset. Web UI bawaan juga mendukung pergantian model.

Poin utama

  • Server llama.
  • cpp menambahkan fitur manajemen multi-model serupa Ollama.
  • Fitur ini menggunakan arsitektur multiproses,dengan setiap model berjalan secara independen…
  • Sistem mendukung penemuan otomatis berkas model GGUF lokal,pemuatan sesuai permintaan,dan secara…
  • Pengguna dapat merutekan ke model tertentu melalui bidang model dalam permintaan,dan menggunakan…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Hugging Face 社区博客(混合发现)
Kategori
Lainnya
Skor AI
76
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

本地跑模型终于能像 Ollama 一样热切换,开发调试效率大幅提升

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Server llama.cpp menambahkan fitur manajemen multi-model. 11 Desember 2025. https://new.nat6.net/id/news/cmoegbhak00a4slxx4drrrsd4/

Lihat semua →