AI 代理死循环能烧多少钱?同一个错重试 41 次,4 层防护怎么设
OpenRouter 拿 6 个模型、同一个注定失败的账单任务各跑 3 次:不加防护,18 次里有 4 次一路重试到 40 步上限;打开死循环检测后,16 次只真正调用 2 次工具就停了,合计花费从 0.29 美元降到 0.05 美元。不…
Tinalakay ng temang ito kung paano patakbuhin ang modelo nang mas mabilis at mas mura: inference acceleration, optimisasyon ng VRAM at gastos, deployment ng serbisyo, monitoring at observability. May mga konkretong solusyon at tunay na data.
Paano patakbuhin ang mga modelo nang mas mabilis at mas mura: pagpapabilis ng inference, memorya ng GPU at gastos, deployment ng serbisyo at pagpili ng imprastruktura.
OpenRouter 拿 6 个模型、同一个注定失败的账单任务各跑 3 次:不加防护,18 次里有 4 次一路重试到 40 步上限;打开死循环检测后,16 次只真正调用 2 次工具就停了,合计花费从 0.29 美元降到 0.05 美元。不…
Inilunsad ng OpenRouter ang Beta localization sa 7 wika kabilang ang Simplified Chinese at Japanese, at inilahad ang…
给智能体接工具,账单里往往不只是「调用了几次」,还包括每次请求都要重新塞进上下文的工具说明书,以及返回结果里一直留着的大段原文。OpenRouter 在 2026 年 11 月 11 日发表官方实测,用同一个 GitHub 任务比较 CL…
Naglabas ang OpenRouter ng artikulong nagpapaliwanag ng quantization, tinatalakay ang prinsipyo ng LLM quantization,…
Naglabas ang OpenRouter ng tutorial na nagpapaliwanag ng tatlong paraan upang makakuha ng maaasahang structured output…
Inilabas ng Sarvam AI ang Token Factory inference service, na nag-aalok ng Sarvam 105B, GLM 5.3, DeepSeek V4.1 Flash…
Binago ng OpenClaw ang paraan ng pagkuha ng listahan ng modelo, humigit-kumulang limang linggo at 80 PR, hindi na…
2026 年 11 月 5 日,OpenAI 官网发布两份材料:面向自家拥有并运营的未来算力园区的《国家社区契约》(National Community Compact),以及一份呼吁联邦、州、地方政府立法的《算力园区政策蓝图》(Comp…
Inihayag ng koponan ng SGLang at Cloudflare nang magkasundo ang isyu ng cross-request KVCache exposure na nakaapekto…
Inihayag ng Wiz na noong Oktubre 21, 11:39 UTC, may malisyosong bersyon ng LiteLLM 1.107.0 na na-upload sa PyPI;…
Inilabas ng Ant Group at ng vLLM community ang open-source general high-performance quantized inference kernel library…
Magkasamang inilabas ng Google at Meta bilang open source ang TorchTPU, na nagbibigay ng native na PyTorch backend…
Inilabas ng open source inference project na llm-d, na pinangungunahan ng IBM, Red Hat at Google, ang llm-d 1.0 sa…
Inanunsyo ng DeepSeek ang buong open source na paglabas ng internal inference framework na DeepInfer, kasabay ng open…
Ipinakilala ng MiniCPM-V team ng ModelBest ang lookahead expert scheduling (LES) technology na sumusuporta sa…
Inilunsad ng Google ang TorchTitan TPU fork (github.com/google-pytorch/torchtitan), kasama ang TorchTPU native backend…
Sa anunsyo ng Google kaugnay ng PyTorch, inilunsad nito ang vLLM at SGLang native PyTorch inference engines batay sa…
Inilunsad ng Modal ang Sticky Sessions; sa pamamagitan ng Modal Servers, ang lahat ng request ng parehong session ay…
Naglabas ang blog ng n8n ng tutorial kung paano mag-deploy ng pitong lokal na modelo sa isang NVIDIA DGX Spark (128GB…
Ipinaliwanag ng Meta ang Prometheus, ang gigawatt-scale supercluster nito sa New Albany, Ohio; tapos na ang unang…
Inanunsyo ng AWS ang TorchNeuron, isang open source na native PyTorch backend para sa Trainium, na magbubukas ng…
Inilunsad ng koponan ng SGLang ang Low-Latency Mode, na nagpapakilala ng mga espesyal na kernel sa pamamagitan ng…
Ibinahagi ni Digital Life Kazike ang isang linggong malalim na karanasan sa paggamit ng ASUS ProArt 16 (RTX Spark N1X…
Inanunsyo ng vLLM ang Day 0 na suporta para sa Beam na modelo ng Reflection, isang MoE na modelo na may 501B na…
Ipinaliwanag ng AMD at Embedded LLM sa opisyal na blog ng vLLM ang inference optimization ng Kimi K3 sa eight-card AMD…
Opisyal na inilabas ng Ant Ling bilang open source ang Ling-3.1-flash, na may kabuuang parameter na humigit-kumulang…
Ipinakita ng Apple Machine Learning Research team kung paano patakbuhin nang lokal sa Mac Studio ang mga frontier…
Inanunsyo ng SGLang team ang Day-0 na suporta sa pangangatwiran para sa open source multimodal MoE model ng Meta na…
Ipinakita ng Databricks na sa pamamagitan ng sistematikong pag-optimize ng performance, nabawasan ang oras ng…
Sinusuportahan ng vLLM ang confidence scoring para sa lahat ng uri ng speculative decoding na nakabatay sa draft…
Inanunsyo ng Modal na lumampas sa $1 bilyon ang annualized revenue nito at nakumpleto ang $750 milyon na Series D…
Inilabas ng LangChain ang langchain-scaledown integration at sinusuportahan sa LangSmith LLM Gateway ang constrained…
Naglabas ang Anthropic ng engineering retrospective: dahil sa Claude, tumaas ang average na merged code kada araw mula…
Inanunsyo ng Microsoft na mula sa susunod na taon ay palalawakin nito ang pamilya ng Maia chip sa deployment na may…
Gumamit ang may-akda ng ComfyUI blog ng AI agent para mangolekta ng iba't ibang optimization, at napagana ang…
Bumuo ang Goodfire Research ng monitoring cascade para sa Kimi K3 at GLM 5.3 batay sa activation probes at LLM judge,…
Nakumpleto ng Inferact at ng komunidad ng vLLM ang optimization sa loob ng tatlong linggo mula nang ilabas ang…
Inanunsyo ng GitHub ang muling pagtatayo ng Git infrastructure para suportahan ang high-concurrency read/write load na…
Inilabas ng Together AI ang Together Link, na nagkokonekta sa coding agent tools na ginagamit na ng team sa mga open…
Gamit ang MetaInfer paper bilang sanggunian, pinagawa ng Baseten engineer sa Claude Code (Fable 5) ang inference…
Promosyon
Ang Orange Relay (pro.nat6.net) ay isang de-kalidad na AI API relay: abot-kayang presyo, matatag na kalidad, at kumpletong saklaw ng modelo kabilang ang Claude, GPT at Gemini.
Bisitahin ang Orange Relay