AI 代理死循环能烧多少钱?同一个错重试 41 次,4 层防护怎么设
OpenRouter 拿 6 个模型、同一个注定失败的账单任务各跑 3 次:不加防护,18 次里有 4 次一路重试到 40 步上限;打开死循环检测后,16 次只真正调用 2 次工具就停了,合计花费从 0.29 美元降到 0.05 美元。不…
Dieses Thema behandelt, wie Modelle schneller und günstiger laufen: Inferenzbeschleunigung, Optimierung von VRAM und Kosten, Service-Deployment, Monitoring und Observability. Für Engineers in Betrieb und Deployment, die konkrete Lösungen und Messdaten für ihre Technologieauswahl nutzen wollen.
Modelle schneller und kostengünstiger betreiben: Inferenzbeschleunigung, VRAM und Kosten, Service-Deployment und Auswahl der Infrastruktur.
OpenRouter 拿 6 个模型、同一个注定失败的账单任务各跑 3 次:不加防护,18 次里有 4 次一路重试到 40 步上限;打开死循环检测后,16 次只真正调用 2 次工具就停了,合计花费从 0.29 美元降到 0.05 美元。不…
OpenRouter hat Beta-Lokalisierungen für 7 Sprachen online gestellt, darunter vereinfachtes Chinesisch und Japanisch,…
给智能体接工具,账单里往往不只是「调用了几次」,还包括每次请求都要重新塞进上下文的工具说明书,以及返回结果里一直留着的大段原文。OpenRouter 在 2026 年 11 月 11 日发表官方实测,用同一个 GitHub 任务比较 CL…
OpenRouter veröffentlicht einen Beitrag zur Quantisierung und erläutert die Grundlagen der LLM-Quantisierung. Zudem…
OpenRouter veröffentlicht ein Tutorial zu drei Wegen für zuverlässige strukturierte Ausgaben aus beliebigen LLMs:…
Sarvam AI stellt den Inferenzdienst Token Factory vor, der über eine OpenAI-kompatible API von einem GPU-Cluster in…
OpenClaw hat die Art und Weise, wie die Modellliste abgerufen wird, umgebaut – rund fünf Wochen und 80 PRs. Neue…
2026 年 11 月 5 日,OpenAI 官网发布两份材料:面向自家拥有并运营的未来算力园区的《国家社区契约》(National Community Compact),以及一份呼吁联邦、州、地方政府立法的《算力园区政策蓝图》(Comp…
Das SGLang-Team hat in Abstimmung mit Cloudflare eine Cross-Request-KVCache-Exposition offengelegt, die vom 27. August…
Wiz hat aufgedeckt, dass am 21. Oktober um 11:39 UTC eine bösartige Version LiteLLM 1.107.0 auf PyPI hochgeladen…
Ant Group und die vLLM-Community haben die allgemeine, hochperformante Open-Source-Bibliothek für quantisierte…
Google und Meta haben TorchTPU gemeinsam als Open Source veröffentlicht. Das native PyTorch-Backend für Google TPU…
Das von IBM, Red Hat und Google maßgeblich vorangetriebene Open-Source-Inferenzprojekt llm-d hat auf der PyTorch…
DeepSeek kündigt an, das interne Reasoning-Framework DeepInfer vollständig als Open Source zu veröffentlichen und…
Das MiniCPM-V-Team von ModelBest stellt die Lookahead-Expert-Scheduling-Technik (LES) vor, die den On-Device-Betrieb…
Google hat einen TorchTitan-TPU-Fork (github.com/google-pytorch/torchtitan) vorgestellt, mit dem sich PyTorch-Modelle…
Google hat im Rahmen einer PyTorch-Ankündigung native PyTorch-Inferenz-Engines für vLLM und SGLang auf Basis von…
Modal veröffentlicht Sticky Sessions. Auf Basis von Modal Servers werden alle Anfragen derselben Sitzung fest an…
Der n8n-Blog veröffentlicht ein Tutorial, das erklärt, wie sieben lokale Modelle auf einem NVIDIA DGX Spark (128 GB…
Meta stellt seinen Gigawatt-Supercluster Prometheus in New Albany, Ohio, vor. Die erste Phase ist fertiggestellt und…
AWS kündigt TorchNeuron an, ein Open-Source-natives PyTorch-Backend für Trainium, das am 20. Oktober unter der…
Das SGLang-Team stellt den Low-Latency Mode vor, der über ein Plugin-Framework spezialisierte Kernel einführt und die…
Der Account Digital Life Kazik teilt seine einwöchige intensive Nutzungserfahrung mit dem ASUS ProArt 16 (RTX Spark…
vLLM kündigt Day-0-Unterstützung für das Beam-Modell von Reflection an, ein MoE-Modell mit 501B Parametern und 23B…
AMD und Embedded LLM erläutern im offiziellen vLLM-Blog die Inferenzoptimierung von Kimi K3 auf acht AMD Instinct…
Ant Ling hat Ling-3.1-flash offiziell als Open Source veröffentlicht. Das Modell hat etwa 560B Gesamtparameter,…
Das Machine-Learning-Forschungsteam von Apple demonstriert, wie sich Frontier-Modelle mit nahezu einer Billion…
Das SGLang-Team hat Day-0-Inferenzunterstützung für das von Meta als Open Source veröffentlichte multimodale…
Databricks zeigt, wie sich durch systematische Performance-Optimierung die Fine-Tuning-Zeit von Qwen 3.8 27B auf der…
vLLM erweitert Confidence Scoring auf alle spekulativen Verfahren, die auf Draft-Modellen basieren. Mithilfe einer…
Modal hat einen annualisierten Umsatz von über 1 Milliarde Dollar und den Abschluss einer Serie D über 750 Millionen…
LangChain veröffentlicht die Integration langchain-scaledown und unterstützt im LangSmith LLM Gateway die…
Anthropic hat eine technische Rückschau veröffentlicht: Da Claude die täglich gemergte Codemenge von etwa 2.500 im Mai…
Microsoft kündigt an, die Maia-Chipfamilie ab dem nächsten Jahr auf Deployments im Multi-Gigawatt-Maßstab auszuweiten…
Ein ComfyUI-Blogger sammelte mit einem Agenten verschiedene Optimierungen und komprimierte die…
Goodfire Research hat für Kimi K3 und GLM 5.3 eine Monitoring-Kaskade aus Activation Probes und LLM-Judge aufgebaut…
Inferact und die vLLM-Community haben die Optimierung von DeepSeek-V4.1-Flash innerhalb von drei Wochen nach der…
GitHub kündigt an, die Git-Infrastruktur neu aufzubauen, um die hohen parallelen Lese- und Schreiblasten durch…
Together AI veröffentlicht Together Link, das die bereits genutzten Coding-Agenten-Tools von Teams mit…
Ein Baseten-Ingenieur ließ Claude Code (Fable 5) mit Bezug auf das MetaInfer-Paper automatisch eine Inferenz-Engine…
Anzeige
Orange Relay (pro.nat6.net) ist eine hochwertige AI-API-Drehscheibe: günstige Preise, stabile Qualität und breite Modellabdeckung inklusive Claude, GPT und Gemini.
Orange Relay besuchen