その他

llama.cppサーバーにマルチモデル管理機能を追加

原題:New in llama.cpp: Model Management

AI 要約

llama.cppサーバーにOllama類似のマルチモデル管理機能が追加された。この機能はマルチプロセスアーキテクチャを採用し、各モデルが独立して動作するため、単一モデルのクラッシュが他のサービスに影響しない。ローカルのGGUFモデルファイルの自動検出、オンデマンド読み込みをサポートし、デフォルトでLRU機構により最大4モデルを同時にロードして管理する。ユーザーはリクエスト内のモデルフィールドで特定モデルにルーティングでき、APIでロード、アンロード、一覧表示が可能である。ロードされた全モデルはルーターの統一設定を継承でき、プリセットファイルでモデルごとに個別のパラメータを設定することもできる。内蔵Web UIもモデル切り替えをサポートする。

要点

  • cppサーバーにOllama類似のマルチモデル管理機能が追加された。
  • この機能はマルチプロセスアーキテクチャを採用し、各モデルが独立して動作するため、単一モデルのクラッシュが他のサービスに影響しない。
  • ローカルのGGUFモデルファイルの自動検出、オンデマンド読み込みをサポートし、デフォルトでLRU機構により最大4モデルを同時にロードして管理する。
  • ユーザーはリクエスト内のモデルフィールドで特定モデルにルーティングでき、APIでロード、アンロード、一覧表示が可能である。
  • ロードされた全モデルはルーターの統一設定を継承でき、プリセットファイルでモデルごとに個別のパラメータを設定することもできる。

概要

公開日時
更新日時
出典
Hugging Face 社区博客(混合发现)
カテゴリ
その他
AI スコア
76
原文を読む 情報源で全文を読む
おすすめの理由

本地跑模型终于能像 Ollama 一样热切换,开发调试效率大幅提升

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:llama.cppサーバーにマルチモデル管理機能を追加。2025年12月11日。https://new.nat6.net/ja/news/cmoegbhak00a4slxx4drrrsd4/

すべて見る →