AI 代理死循环能烧多少钱?同一个错重试 41 次,4 层防护怎么设
OpenRouter 拿 6 个模型、同一个注定失败的账单任务各跑 3 次:不加防护,18 次里有 4 次一路重试到 40 步上限;打开死循环检测后,16 次只真正调用 2 次工具就停了,合计花费从 0.29 美元降到 0.05 美元。不…
部署工程主题讨论怎么把模型跑得更快更省钱:推理加速、显存与成本优化、服务部署、监控与可观测性。适合负责上线与运维的工程师参考具体方案与实测数据,再做技术选型。帮助减少试错成本。内容以可复现的方案与数据为主。
怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。
OpenRouter 拿 6 个模型、同一个注定失败的账单任务各跑 3 次:不加防护,18 次里有 4 次一路重试到 40 步上限;打开死循环检测后,16 次只真正调用 2 次工具就停了,合计花费从 0.29 美元降到 0.05 美元。不…
OpenRouter 上线简体中文、日语等 7 种语言 Beta 本地化,并详解配套的自纠错翻译流水线:GPT-6.1 Sol 翻译 16,918 条字符串,经代码检查、同模型校验和每日 AI 审查重试,最坏情况每条约 20 次模型调用。…
给智能体接工具,账单里往往不只是「调用了几次」,还包括每次请求都要重新塞进上下文的工具说明书,以及返回结果里一直留着的大段原文。OpenRouter 在 2026 年 11 月 11 日发表官方实测,用同一个 GitHub 任务比较 CL…
OpenRouter 发布量化解析文章,讲解 LLM 量化原理,并报告 2026 年 10 月 20 日对 1455 个 provider 端点和 Qwen3.8 27B 六个端点的实测。
OpenRouter 发布教程,讲解从任意 LLM 获取可靠结构化输出的三种方式:支持 structured outputs 的模型发送严格 JSON Schema,只支持工具的模型强制单次工具调用,只需标签时用 Jev 决策模型。
Sarvam AI 推出 Token Factory 推理服务,从位于印度的 GPU 集群通过 OpenAI 兼容 API 提供 Sarvam 105B、GLM 5.3、DeepSeek V4.1 Flash 1017、Kimi K3 等…
OpenClaw 重构模型列表获取方式,约五周、80 个 PR,新模型不再等客户端发版。现在从三处取模型列表:每 4 小时重建的 catalog.openclaw.ai 目录(约 1000 个模型)、账号可用的模型列表,以及 PATH 上…
2026 年 11 月 5 日,OpenAI 官网发布两份材料:面向自家拥有并运营的未来算力园区的《国家社区契约》(National Community Compact),以及一份呼吁联邦、州、地方政府立法的《算力园区政策蓝图》(Comp…
SGLang 团队与 Cloudflare 协调披露 2026 年 8 月 27 日至 9 月 9 日影响 Workers AI 上 @cf/zai-org/glm-5.3 的跨请求 KVCache 暴露问题。
Wiz 披露 10 月 21 日 11:39 UTC 有恶意版本 LiteLLM 1.107.0 上传至 PyPI,1:20 UTC 被隔离,GHCR 和 Docker Hub 的相关镜像标签也被植入,13:53 UTC 左右移除,最近的…
蚂蚁集团与 vLLM 社区开源通用高性能量化推理内核库 Humming,仓库为 github.com/vllm-project/humming。
Google 与 Meta 联合开源 TorchTPU,为 Google TPU 提供原生 PyTorch 后端,模型只需把 .to("cuda") 改成 .to("tpu") 即可开箱运行,无需 JAX 依赖。
IBM、Red Hat 和 Google 等主导的开源推理项目 llm-d 在 PyTorch Conference North America 上发布 llm-d 1.0,这是一个 Kubernetes 原生的分布式推理服务框架,支持任…
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源,并同步开源生产级 Token 编解码组件 deepseek-recipe。
面壁智能 MiniCPM-V 团队介绍支撑 MiniCPM-V 4.7 端侧运行的前瞻专家调度(LES)技术,称首次实现 35B-A3B 规模 MoE 在端侧实时无损运行,iPhone 18 Pro Max 实测解码超 20 token/…
Google 推出 TorchTitan TPU 分叉(github.com/google-pytorch/torchtitan),配合 TorchTPU 原生后端在 Cloud TPU 上训练 PyTorch 模型,提供 SimpleF…
Google 在 PyTorch 相关公告中推出基于 TorchTPU 的 vLLM 和 SGLang 原生 PyTorch 推理引擎,分别与 Inferact、RadixArk 合作开发,让开发者用熟悉的 PyTorch 工具在 TPU…
Modal 发布 Sticky Sessions,基于 Modal Servers 让同一会话的所有请求固定路由到同一容器,用 @modal.sessioned() 装饰器配合 SDK 或 HTTP API 即可创建。
n8n 博客发布教程,讲解如何在一台 NVIDIA DGX Spark(128GB 统一内存)上部署七个本地模型,通过 LiteLLM 单一 OpenAI 兼容端点驱动 n8n 工作流,全程不调用云 API。
Meta 介绍其位于俄亥俄州 New Albany 的吉瓦级超集群 Prometheus,一期已建成并用于训练 Muse 系列基础模型,目标扩展到约 100 万张 GPU。
AWS 宣布推出 TorchNeuron,一个面向 Trainium 的开源原生 PyTorch 后端,10 月 20 日以 Apache 2.0 协议在 PyTorch Conference North America 开启公测。
SGLang 团队推出 Low-Latency Mode,通过插件框架引入专用内核,在 NVIDIA GB300 和 AMD MI355X GPU 上显著降低推理延迟。
数字生命卡兹克分享华硕ProArt创16(RTX Spark N1X芯片、128G统一内存、37999元)的一周深度使用体验,该机全球开售时128G版本在京东几分钟内被抢空。
vLLM 宣布从 Day 0 支持 Reflection 的 Beam 模型,这是一个 501B 参数、每 token 激活 23B 的 MoE 模型,在 NVIDIA Blackwell 上完成优化。
AMD 与 Embedded LLM 在 vLLM 官方博客详解 Kimi K3 在八卡 AMD Instinct MI355X 上的推理优化。
蚂蚁百灵正式开源 Ling-3.1-flash,总参数约 560B、每 Token 激活约 25B、最高支持 1M 上下文,权重可在 Hugging Face 和 ModelScope 获取。
Apple 机器学习研究团队演示如何在 Mac Studio 上本地运行近万亿参数的 Muse Spark Open 等前沿模型,使用今天发布的新版 MLX(v0.30.1 起)与 macOS 26.2 的 RDMA over Thund…
SGLang 团队宣布对 Meta 开源多模态 MoE 模型 Muse Spark Open(816B 参数、约 42B 激活、1M token 上下文)提供 Day-0 推理支持,权重提供 NVFP4 和 BF16 两种格式。
Databricks 演示通过系统性性能优化,将 Qwen 3.8 27B 在 AI Runtime 上的微调时间从 7 小时 44 分钟降至 1 小时 17 分钟,提速 6 倍。
vLLM 支持 confidence scoring 扩展到所有基于草稿模型的投机类型,通过在线拟合的 logistic 回归从草发者 logits 推导 logit(q_max) 特征来预测目标模型的接受概率,作为 Adaptive V…
Modal 宣布年化收入突破 10 亿美元,并完成 7.5 亿美元 D 轮融资,投后估值 157.5 亿美元,由 Accel 领投,Kleiner Perkins 及现有投资方跟投。
LangChain 发布 langchain-scaledown 集成,并在 LangSmith LLM Gateway 中支持 ScaleDown 的约束解码模型(CDM),用于降低长时智能体上下文管理的成本和延迟。
Anthropic 发布工程复盘,因 Claude 使日均合并代码量从 2026 年 5 月约 2,500 增至 9 月超 30,000,五个月内自研版本控制系统 Scion 并完全替代 git,同时推出代码评审工具 Antique。
微软宣布明年起将 Maia 芯片家族扩展到多吉瓦级部署,作为自家产品和服务的首选推理系统,并发布 Maia 300,每瓦 token 产出比主流 GPU 系统高 40%。Maia 200 已在美国、欧洲和澳大利亚部署,在 Teams 和…
ComfyUI 博客作者用智能体搜集各类优化,把 MiniMax H3 实时视频生成压缩到单张 RTX 5090(32 GB 显存)上运行,生成 30 秒视频耗时 23.51 秒,达 1.28 倍实时吞吐。
Goodfire Research 为 Kimi K3 和 GLM 5.3 构建基于激活探针加 LLM judge 的监控级联,并部署到生产推理栈。
Inferact 与 vLLM 社区在 DeepSeek-V4.1-Flash 发布三周内完成优化,低并发速度提升 1.9 倍,150 TPS 约束下吞吐提升 5.3 倍。
GitHub 宣布重建 Git 基础设施,以支持智能体规模开发带来的高并发读写负载。2026 年 8 月 GitHub 月度 Git 事件量达 473.3 billion(一年翻倍以上),9 月智能体和开发者产生 7.38 billion…
Together AI 发布 Together Link,把团队已用的编码智能体工具连接到 Together AI 上的开源模型,宣称可节省超过 50% 支出。
Baseten 工程师参考 MetaInfer 论文,让 Claude Code(Fable 5)为 Qwen-3.6-35B-A3B(NVFP4,单张 B200)自动构建推理引擎 VibeQwen,单流解码比 vLLM 0.25.1 快…
推广
橙子中转站(pro.nat6.net)是一家优质的 AI API 中转站:价格优惠、质量稳定、模型齐全,支持 Claude、GPT、Gemini 等主流模型,欢迎体验。
访问橙子中转站