AI 代理死循环能烧多少钱?同一个错重试 41 次,4 层防护怎么设
OpenRouter 拿 6 个模型、同一个注定失败的账单任务各跑 3 次:不加防护,18 次里有 4 次一路重试到 40 步上限;打开死循环检测后,16 次只真正调用 2 次工具就停了,合计花费从 0.29 美元降到 0.05 美元。不…
Le thème Ingénierie du déploiement traite l'optimisation des modèles : accélération de l'inférence, mémoire et coûts, déploiement, supervision et observabilité.
Faire tourner les modèles plus vite et à moindre coût : accélération de l'inférence, mémoire et coûts, déploiement de services et choix d'infrastructure.
OpenRouter 拿 6 个模型、同一个注定失败的账单任务各跑 3 次:不加防护,18 次里有 4 次一路重试到 40 步上限;打开死循环检测后,16 次只真正调用 2 次工具就停了,合计花费从 0.29 美元降到 0.05 美元。不…
OpenRouter lance une localisation Beta en 7 langues, dont le chinois simplifié et le japonais, et détaille son…
给智能体接工具,账单里往往不只是「调用了几次」,还包括每次请求都要重新塞进上下文的工具说明书,以及返回结果里一直留着的大段原文。OpenRouter 在 2026 年 11 月 11 日发表官方实测,用同一个 GitHub 任务比较 CL…
OpenRouter publie une analyse de la quantification, explique les principes de la quantification des LLM et rapporte…
OpenRouter publie un tutoriel présentant trois méthodes pour obtenir des sorties structurées fiables de n'importe quel…
Sarvam AI lance Token Factory, un service d'inférence qui propose, depuis un cluster de GPU situé en Inde et via une…
OpenClaw a refondu sa méthode de récupération de la liste des modèles, avec environ cinq semaines de travail et 80 PR…
2026 年 11 月 5 日,OpenAI 官网发布两份材料:面向自家拥有并运营的未来算力园区的《国家社区契约》(National Community Compact),以及一份呼吁联邦、州、地方政府立法的《算力园区政策蓝图》(Comp…
L'équipe SGLang, en coordination avec Cloudflare, divulgue un problème d'exposition du KVCache entre requêtes ayant…
Wiz révèle qu'une version malveillante de LiteLLM, la 1.107.0, a été publiée sur PyPI le 21 octobre à 11:39 UTC, puis…
Ant Group et la communauté vLLM publient en open source Humming, une bibliothèque universelle de noyaux d'inférence…
Google et Meta ont open source TorchTPU, qui fournit un backend PyTorch natif pour les TPU de Google. Les modèles…
Porté par IBM, Red Hat et Google, le projet open source d'inférence llm-d publie la version 1.0 lors de la PyTorch…
DeepSeek annonce l'open source intégral de son framework de raisonnement interne DeepInfer, ainsi que celui du…
L'équipe MiniCPM-V de ModelBest présente la technologie de planification anticipée d'experts (LES) qui sous-tend…
Google lance un fork TPU de TorchTitan (github.com/google-pytorch/torchtitan), qui permet d'entraîner des modèles…
Dans une annonce liée à PyTorch, Google présente les moteurs d'inférence PyTorch natifs vLLM et SGLang basés sur…
Modal lance Sticky Sessions, qui s'appuie sur Modal Servers pour router de manière fixe toutes les requêtes d'une même…
Le blog n8n publie un tutoriel expliquant comment déployer sept modèles locaux sur un NVIDIA DGX Spark (128 Go de…
Meta présente Prometheus, son supercluster de l'échelle du gigawatt situé à New Albany, dans l'Ohio. La première phase…
AWS annonce TorchNeuron, un backend PyTorch natif open source destiné à Trainium, dont la bêta publique a débuté le 20…
L'équipe SGLang présente le Low-Latency Mode, qui introduit des noyaux dédiés via un framework de plugins et réduit…
Le compte Digital Life Kazike partage une semaine d'utilisation intensive de l'Asus ProArt 16 (puce RTX Spark N1X, 128…
vLLM annonce le support Day 0 du modèle Beam de Reflection, un modèle MoE de 501 milliards de paramètres activant 23…
AMD et Embedded LLM détaillent sur le blog officiel de vLLM l'optimisation de l'inférence de Kimi K3 sur huit cartes…
Ant Ling ouvre officiellement Ling-3.1-flash, un modèle d'environ 560B de paramètres totaux, avec environ 25B activés…
L'équipe de recherche en machine learning d'Apple démontre l'exécution locale sur Mac Studio de modèles de pointe…
L'équipe SGLang annonce un support d'inférence Day-0 pour Muse Spark Open, modèle MoE multimodal open source de Meta…
Databricks démontre qu'une optimisation systématique des performances permet de réduire le temps de fine-tuning de…
vLLM étend le confidence scoring à tous les types de speculation basés sur des modèles draft, en dérivant un feature…
Modal annonce dépasser 1 milliard de dollars de revenus annualisés et avoir bouclé un financement de série D de 750…
LangChain publie l'intégration langchain-scaledown et prend en charge les modèles à décodage contraint (CDM) de…
Anthropic publie un retour d'expérience d'ingénierie : Claude ayant fait passer le volume quotidien de code fusionné…
Microsoft annonce que, dès l'année prochaine, la famille de puces Maia sera étendue à des déploiements de plusieurs…
L'auteur du blog ComfyUI a utilisé un agent pour collecter diverses optimisations et ramener la génération vidéo en…
Goodfire Research construit pour Kimi K3 et GLM 5.3 une cascade de surveillance combinant sondes d'activation et LLM…
Inferact et la communauté vLLM ont achevé les optimisations de DeepSeek-V4.1-Flash en trois semaines après son…
GitHub annonce la reconstruction de son infrastructure Git afin de supporter les charges élevées de lecture et…
Together AI lance Together Link, qui connecte les outils d'agents de codage déjà utilisés par les équipes aux modèles…
S'appuyant sur l'article MetaInfer, des ingénieurs de Baseten ont fait construire automatiquement par Claude Code…
Sponsorisé
Orange Relay (pro.nat6.net) est une excellente plateforme de relais d'API IA : tarifs avantageux, qualité stable et large couverture de modèles, dont Claude, GPT et Gemini.
Visiter Orange Relay