AI 代理死循环能烧多少钱?同一个错重试 41 次,4 层防护怎么设
OpenRouter 拿 6 个模型、同一个注定失败的账单任务各跑 3 次:不加防护,18 次里有 4 次一路重试到 40 步上限;打开死循环检测后,16 次只真正调用 2 次工具就停了,合计花费从 0.29 美元降到 0.05 美元。不…
배포 엔지니어링 주제는 모델을 더 빠르고 저렴하게 운영하는 방법을 논의합니다. 추론 가속, 메모리와 비용 최적화, 서비스 배포, 모니터링과 관측성을 다루며 배포와 운영을 맡은 엔지니어가 구체적 방안과 실측 데이터를 참고해 기술 선택을 하도록 돕습니다. 시행착오 비용을 줄이는 데 도움이 되며 재현 가능한 방안과 데이터를 중심으로 다룹니다.
모델을 더 빠르고 저렴하게 운영하는 방법: 추론 가속, VRAM과 비용, 서비스 배포와 인프라 선택.
OpenRouter 拿 6 个模型、同一个注定失败的账单任务各跑 3 次:不加防护,18 次里有 4 次一路重试到 40 步上限;打开死循环检测后,16 次只真正调用 2 次工具就停了,合计花费从 0.29 美元降到 0.05 美元。不…
OpenRouter가 중국어 간체, 일본어 등 7개 언어 베타 현지화를 출시하고, 이에 맞춘 자체 오류 수정 번역 파이프라인을 공개했다. GPT-6.1 Sol이 16,918개 문자열을 번역하며, 코드 검사, 동일…
给智能体接工具,账单里往往不只是「调用了几次」,还包括每次请求都要重新塞进上下文的工具说明书,以及返回结果里一直留着的大段原文。OpenRouter 在 2026 年 11 月 11 日发表官方实测,用同一个 GitHub 任务比较 CL…
OpenRouter가 양자화 해설 글을 발표해 LLM 양자화 원리를 설명하고, 2026년 10월 20일 1455개 provider 엔드포인트와 Qwen3.8 27B의 6개 엔드포인트를 대상으로 한 실측 결과를…
OpenRouter가 모든 LLM에서 신뢰할 수 있는 구조화된 출력을 얻는 세 가지 방법을 설명하는 튜토리얼을 발표했다. structured outputs을 지원하는 모델에는 엄격한 JSON Schema를…
Sarvam AI가 Token Factory 추론 서비스를 출시하고, 인도에 위치한 GPU 클러스터에서 OpenAI 호환 API를 통해 Sarvam 105B, GLM 5.3, DeepSeek V4.1 Flash…
OpenClaw가 모델 목록 조회 방식을 재구성했다. 약 5주간 80개의 PR이 진행됐으며, 새 모델이 클라이언트 릴리스를 기다리지 않아도 된다. 이제 모델 목록을 세 곳에서 가져온다. 4시간마다 재구축되는…
2026 年 11 月 5 日,OpenAI 官网发布两份材料:面向自家拥有并运营的未来算力园区的《国家社区契约》(National Community Compact),以及一份呼吁联邦、州、地方政府立法的《算力园区政策蓝图》(Comp…
SGLang 팀은 Cloudflare와 조율해 2026년 8월 27일부터 9월 9일까지 Workers AI의 @cf/zai-org/glm-5.3에 영향을 준 요청 간 KVCache 노출 문제를 공개했다.
Wiz는 10월 21일 11:39 UTC에 악성 버전 LiteLLM 1.107.0이 PyPI에 업로드됐고 1:20 UTC에 격리됐다고 밝혔다. GHCR과 Docker Hub의 관련 이미지 태그에도 악성 코드가…
앤트그룹과 vLLM 커뮤니티가 범용 고성능 양자화 추론 커널 라이브러리 Humming을 오픈소스로 공개했다. 저장소는 github.com/vllm-project/humming이다.
Google과 Meta는 Google TPU용 네이티브 PyTorch 백엔드 TorchTPU를 공동 오픈소스로 공개했다. 모델의 .to("cuda")를 .to("tpu")로 바꾸기만 하면 JAX 의존성 없이 바로…
IBM, Red Hat, Google 등이 주도하는 오픈소스 추론 프로젝트 llm-d가 PyTorch Conference North America에서 llm-d 1.0을 출시했다. 이는 Kubernetes…
DeepSeek가 내부 추론 프레임워크 DeepInfer를 전면 오픈소스로 공개하고, 프로덕션급 토큰 코덱 컴포넌트 deepseek-recipe도 함께 오픈소스화했다.
面壁智能 MiniCPM-V 팀은 MiniCPM-V 4.7의 온디바이스 구동을 뒷받침하는 전방 전문가 스케줄링(LES) 기술을 소개하며, 35B-A3B 규모 MoE의 온디바이스 실시간 무손실 구동을 최초로 구현했다고…
Google이 TorchTitan TPU 포크(github.com/google-pytorch/torchtitan)를 공개했다. TorchTPU 네이티브 백엔드와 함께 Cloud TPU에서 PyTorch 모델을…
Google이 PyTorch 관련 발표에서 TorchTPU 기반의 vLLM 및 SGLang 네이티브 PyTorch 추론 엔진을 공개했으며, 각각 Inferact, RadixArk와 협력해 개발해 개발자가 익숙한…
Modal이 Sticky Sessions를 출시했다. Modal Servers를 기반으로 동일 세션의 모든 요청을 같은 컨테이너로 고정 라우팅하며, @modal.sessioned() 데코레이터와 SDK 또는…
n8n 블로그가 NVIDIA DGX Spark(128GB 통합 메모리) 한 대에 7개 로컬 모델을 배포하고 LiteLLM의 단일 OpenAI 호환 엔드포인트로 n8n 워크플로를 구동하며 전 과정에서 클라우드…
Meta가 오하이오주 New Albany에 위치한 기가와트급 슈퍼클러스터 Prometheus를 소개했다. 1단계가 완료되어 Muse 시리즈 기초 모델 훈련에 사용 중이며, 약 100만 장의 GPU로 확장하는 것이…
AWS가 Trainium용 오픈소스 네이티브 PyTorch 백엔드 TorchNeuron을 발표했다. 10월 20일 Apache 2.0 라이선스로 PyTorch Conference North America에서 공개…
SGLang 팀이 Low-Latency Mode를 선보였다. 플러그인 프레임워크를 통해 전용 커널을 도입해 NVIDIA GB300과 AMD MI355X GPU에서 추론 지연을 크게 줄였다.
디지털 생명 카즈커가 ASUS ProArt 创16(RTX Spark N1X 칩, 128G 통합 메모리, 37999위안)을 일주일간 심층 사용한 경험을 공유했다. 이 제품은 글로벌 판매 시작 당시 128G 버전이 징…
vLLM이 Reflection의 Beam 모델을 Day 0부터 지원한다고 발표했다. 이 모델은 501B 파라미터에 토큰당 23B가 활성화되는 MoE 모델로, NVIDIA Blackwell에서 최적화를 완료했다.
AMD와 Embedded LLM이 vLLM 공식 블로그에서 8카드 AMD Instinct MI355X 환경의 Kimi K3 추론 최적화를 상세히 설명했다.
Ant Group Ling이 총 파라미터 약 560B, 토큰당 활성 파라미터 약 25B, 최대 1M 컨텍스트를 지원하는 Ling-3.1-flash를 정식 오픈소스로 공개했다. 가중치는 Hugging Face와…
Apple 머신러닝 연구팀이 Mac Studio에서 약 1조 파라미터 규모의 Muse Spark Open 등 최신 모델을 로컬 실행하는 방법을 시연했다. 오늘 공개된 새 MLX(v0.30.1부터)와 macOS…
SGLang 팀이 Meta의 오픈소스 멀티모달 MoE 모델 Muse Spark Open(816B 파라미터, 활성 약 42B, 1M token 컨텍스트)에 대한 Day-0 추론 지원을 발표했다. 가중치는…
Databricks가 체계적인 성능 최적화를 통해 Qwen 3.8 27B의 AI Runtime 미세조정 시간을 7시간 44분에서 1시간 17분으로 줄여 6배 단축했다고 시연했다.
vLLM이 confidence scoring을 모든 드래프트 모델 기반 투기 유형으로 확장했다. 온라인 피팅 로지스틱 회귀를 통해 드래프트 모델의 logits에서 logit(q_max) 특징을 도출해 대상 모델의…
Modal이 연환산 매출 10억 달러 돌파와 7.5억 달러 D라운드 투자 유치를 발표했다. 투자 후 기업가치는 157.5억 달러이며 Accel이 주도하고 Kleiner Perkins와 기존 투자자가 참여했다.
LangChain이 langchain-scaledown 통합을 출시하고 LangSmith LLM Gateway에서 ScaleDown의 제약 디코딩 모델(CDM)을 지원한다. 이는 장시간 에이전트의 컨텍스트 관리…
Anthropic이 엔지니어링 회고를 발표했다. Claude로 인해 일평균 병합 코드량이 2026년 5월 약 2,500에서 9월 30,000 이상으로 늘자, 5개월 만에 자체 버전 관리 시스템 Scion을 개발해…
마이크로소프트가 내년부터 Maia 칩 제품군을 다중 기가와트급으로 확장해 자사 제품과 서비스의 우선 추론 시스템으로 사용한다고 밝히고 Maia 300을 공개했다. 와트당 토큰 생산량은 주류 GPU 시스템보다…
ComfyUI 블로그 작성자가 에이전트로 각종 최적화를 수집해 MiniMax H3 실시간 영상 생성을 단일 RTX 5090(32GB VRAM)에서 구동하는 데 성공했다. 30초 영상 생성에 23.51초가 걸려…
Goodfire Research가 Kimi K3와 GLM 5.3을 위해 활성화 프로브와 LLM judge 기반 모니터링 캐스케이드를 구축하고 프로덕션 추론 스택에 배포했다.
Inferact와 vLLM 커뮤니티가 DeepSeek-V4.1-Flash 출시 3주 만에 최적화를 완료했다. 저동시성 속도는 1.9배 향상됐고, 150 TPS 제약 조건에서 처리량은 5.3배 증가했다.
GitHub가 에이전트 규모 개발에 따른 고동시성 읽기·쓰기 부하를 지원하기 위해 Git 인프라를 재구축한다고 발표했다. 2026년 8월 GitHub 월간 Git 이벤트는 473.3 billion으로 1년 만에…
Together AI가 팀이 이미 사용 중인 코딩 에이전트 도구를 Together AI의 오픈소스 모델에 연결하는 Together Link를 발표하며 비용을 50% 이상 절감할 수 있다고 밝혔다.
Baseten 엔지니어가 MetaInfer 논문을 참고해 Claude Code(Fable 5)로 Qwen-3.6-35B-A3B(NVFP4, 단일 B200)용 추론 엔진 VibeQwen을 자동 구축했다. 단일…
광고
Orange Relay(pro.nat6.net)는 고품질 AI API 중계 서비스입니다. 합리적인 가격, 안정적인 품질, Claude·GPT·Gemini 등 주요 모델을 폭넓게 지원합니다.
Orange Relay 방문하기