기타

llama.cpp 서버, 다중 모델 관리 기능 추가

원제목:New in llama.cpp: Model Management

AI 요약

llama.cpp 서버에 Ollama와 유사한 다중 모델 관리 기능이 추가되었다. 이 기능은 다중 프로세스 아키텍처를 채택해 각 모델이 독립적으로 실행되므로 단일 모델의 충돌이 다른 서비스에 영향을 주지 않는다. 시스템은 로컬 GGUF 모델 파일 자동 발견, 필요 시 로딩을 지원하며, 기본적으로 LRU 메커니즘으로 최대 4개 모델을 동시에 로드해 관리한다. 사용자는 요청의 모델 필드를 통해 특정 모델로 라우팅할 수 있고, API로 로드, 언로드, 목록 조회가 가능하다. 로드된 모든 모델은 라우터의 통일된 설정을 상속할 수 있으며, 프리셋 파일을 통해 모델별로 개별 파라미터를 설정할 수도 있다. 내장 Web UI도 모델 전환을 지원한다.

핵심 정보

  • cpp 서버에 Ollama와 유사한 다중 모델 관리 기능이 추가되었다.
  • 이 기능은 다중 프로세스 아키텍처를 채택해 각 모델이 독립적으로 실행되므로 단일 모델의 충돌이 다른 서비스에 영향을 주지 않는다.
  • 시스템은 로컬 GGUF 모델 파일 자동 발견,필요 시 로딩을 지원하며,기본적으로 LRU 메커니즘으로 최대 4개 모델을 동시에 로드해 관리한다.
  • 사용자는 요청의 모델 필드를 통해 특정 모델로 라우팅할 수 있고,API로 로드,언로드,목록 조회가 가능하다.
  • 로드된 모든 모델은 라우터의 통일된 설정을 상속할 수 있으며,프리셋 파일을 통해 모델별로 개별 파라미터를 설정할 수도 있다.

한눈에 보기

게시
업데이트
출처
Hugging Face 社区博客(混合发现)
카테고리
기타
AI 점수
76
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

本地跑模型终于能像 Ollama 一样热切换,开发调试效率大幅提升

관련 엔티티

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: llama.cpp 서버, 다중 모델 관리 기능 추가. 2025년 12월 11일. https://new.nat6.net/ko/news/cmoegbhak00a4slxx4drrrsd4/

전체 보기 →
  • Anthropic 조사: 2026년 기업 AI 에이전트 적용 트렌드

    Anthropic이 Material과 함께 기술 리더 500여 명을 조사한 결과, 57% 기업이 AI 에이전트를 다단계 워크플로에 사용하고 16%는 부서 간 배포를 구현했다. 코딩이 핵심 시나리오로 90%는 개발…

    Claude:Blog(网页)기타

  • swift-huggingface 소개: 완전한 Hugging Face Swift 클라이언트

    swift-huggingface는 기존 라이브러리의 느리고 불안정하며 이어받기 미지원 문제를 근본적으로 해결하기 위한 새로운 Swift 클라이언트다. 완전한 Hub API 커버리지를 제공하며, 핵심 개선으로…

    Hugging Face 社区博客(混合发现)기타AI 점수 76

  • 새 논문: iREPA 확산 모델은 기반 표현의 렌더러다

    새 논문: iREPA 확산 모델은 기반 표현의 렌더러다. 이 새로운 설정을 통해 우리는 이러한 표현의 진정한 의미에 대해 더 명확하게 통찰할 수 있다. Jas가 자발적인 탐구를 시작했고, 지난 3개월 동안 우리는…

    X:谢赛宁 (@sainingxie)기타

  • xAI, Grok Voice Agent API 출시

    xAI가 Grok Voice Agent API를 공개했다. 자체 음성 스택(VAD, tokenizer, 오디오 모델) 기반으로 Big Bench Audio 벤치마크에서 1위를 차지했으며, 첫 오디오 지연 시간이…

    xAI:News(网页)기타