AI 代理死循环能烧多少钱?同一个错重试 41 次,4 层防护怎么设
OpenRouter 拿 6 个模型、同一个注定失败的账单任务各跑 3 次:不加防护,18 次里有 4 次一路重试到 40 步上限;打开死循环检测后,16 次只真正调用 2 次工具就停了,合计花费从 0.29 美元降到 0.05 美元。不…
तैनाती इंजीनियरिंग विषय में मॉडल को तेज़ और सस्ता चलाने की चर्चा: अनुमान त्वरण, VRAM और लागत अनुकूलन, सेवा तैनाती, निगरानी और ऑब्ज़र्वेबिलिटी। लॉन्च और संचालन संभालने वाले इंजीनियरों के लिए ठोस समाधान और परीक्षण डेटा।
मॉडल को तेज़ और सस्ता कैसे चलाएं: इंफ़्रेंस एक्सेलेरेशन, मेमोरी और लागत, सर्विस डिप्लॉयमेंट और इंफ्रास्ट्रक्चर चयन।
OpenRouter 拿 6 个模型、同一个注定失败的账单任务各跑 3 次:不加防护,18 次里有 4 次一路重试到 40 步上限;打开死循环检测后,16 次只真正调用 2 次工具就停了,合计花费从 0.29 美元降到 0.05 美元。不…
OpenRouter ने सरलीकृत चीनी, जापानी सहित 7 भाषाओं में बीटा स्थानीयकरण शुरू किया और साथ में स्व-सुधार अनुवाद पाइपलाइन का…
给智能体接工具,账单里往往不只是「调用了几次」,还包括每次请求都要重新塞进上下文的工具说明书,以及返回结果里一直留着的大段原文。OpenRouter 在 2026 年 11 月 11 日发表官方实测,用同一个 GitHub 任务比较 CL…
OpenRouter ने क्वांटाइज़ेशन पर एक विश्लेषण लेख प्रकाशित किया, जिसमें LLM क्वांटाइज़ेशन के सिद्धांत समझाए गए और 20…
OpenRouter ने एक ट्यूटोरियल जारी किया है, जिसमें किसी भी LLM से विश्वसनीय संरचित आउटपुट प्राप्त करने के तीन तरीके बताए…
Sarvam AI ने Token Factory इन्फरेंस सेवा शुरू की है, जो भारत में स्थित GPU क्लस्टर से OpenAI-संगत API के ज़रिए Sarvam…
OpenClaw ने मॉडल सूची प्राप्त करने का तरीका पुनर्गठित किया है, जिसमें लगभग पांच सप्ताह और 80 PR शामिल हैं; अब नए मॉडल…
2026 年 11 月 5 日,OpenAI 官网发布两份材料:面向自家拥有并运营的未来算力园区的《国家社区契约》(National Community Compact),以及一份呼吁联邦、州、地方政府立法的《算力园区政策蓝图》(Comp…
SGLang टीम ने Cloudflare के साथ समन्वय में 27 अगस्त से 9 सितंबर 2026 के बीच Workers AI पर @cf/zai-org/glm-5.3 को…
Wiz ने खुलासा किया कि 21 अक्टूबर को 11:39 UTC पर LiteLLM का एक दुर्भावनापूर्ण संस्करण 1.107.0 PyPI पर अपलोड किया गया…
Ant Group और vLLM समुदाय ने सामान्य उच्च-प्रदर्शन क्वांटाइज्ड इन्फरेंस कर्नेल लाइब्रेरी Humming ओपन-सोर्स की,…
Google और Meta ने संयुक्त रूप से TorchTPU को ओपन-सोर्स किया है, जो Google TPU के लिए एक मूल PyTorch बैकएंड प्रदान करता…
IBM, Red Hat और Google आदि के नेतृत्व वाले ओपन-सोर्स इन्फ़रेंस प्रोजेक्ट llm-d ने PyTorch Conference North America में…
DeepSeek ने घोषणा की कि उसने अपने आंतरिक इन्फ़रेंस फ़्रेमवर्क DeepInfer को पूरी तरह ओपन-सोर्स किया है और साथ ही…
ModelBest की MiniCPM-V टीम ने MiniCPM-V 4.7 के ऑन-डिवाइस निष्पादन को सक्षम करने वाली लुकअहेड एक्सपर्ट शेड्यूलिंग (LES)…
Google ने TorchTPU नेटिव बैकएंड के साथ Cloud TPU पर PyTorch मॉडल के प्रशिक्षण के लिए TorchTitan TPU फोर्क…
Google ने PyTorch संबंधित घोषणा में TorchTPU आधारित vLLM और SGLang नेटिव PyTorch इन्फरेंस इंजन पेश किए, जिन्हें क्रमशः…
Modal ने Sticky Sessions रिलीज़ किया, जो Modal Servers पर आधारित है ताकि एक ही सत्र के सभी अनुरोधों को स्थायी रूप से…
n8n ब्लॉग ने एक ट्यूटोरियल प्रकाशित किया है, जिसमें बताया गया है कि कैसे एक NVIDIA DGX Spark (128GB एकीकृत मेमोरी) पर…
Meta ने ओहायो के New Albany स्थित अपने गीगावाट-स्तरीय सुपरक्लस्टर Prometheus का परिचय दिया। इसका पहला चरण पूरा हो चुका…
AWS ने Trainium के लिए एक ओपन-सोर्स नेटिव PyTorch बैकएंड, TorchNeuron की घोषणा की है। इसे 20 अक्टूबर को PyTorch…
SGLang टीम ने Low-Latency Mode पेश किया, जो प्लगइन फ्रेमवर्क के जरिए समर्पित कर्नेल लाता है और NVIDIA GB300 तथा AMD…
डिजिटल लाइफ Kazzik ने ASUS ProArt Studiobook 16 (RTX Spark N1X चिप, 128G यूनिफाइड मेमोरी, 37999 रुपये) के साथ अपने एक…
vLLM ने घोषणा की कि वह Day 0 से Reflection के Beam मॉडल का समर्थन करता है, जो 501B पैरामीटर वाला MoE मॉडल है और प्रति…
AMD और Embedded LLM ने vLLM के आधिकारिक ब्लॉग पर आठ-कार्ड AMD Instinct MI355X पर Kimi K3 के तर्क अनुकूलन का विस्तृत…
Ant Bailing ने आधिकारिक तौर पर Ling-3.1-flash को ओपन-सोर्स किया है, जिसमें कुल पैरामीटर लगभग 560B, प्रति टोकन सक्रियण…
Apple की मशीन लर्निंग रिसर्च टीम ने दिखाया कि कैसे Mac Studio पर 816B पैरामीटर वाले Muse Spark Open जैसे अत्याधुनिक…
SGLang टीम ने Meta के ओपन-सोर्स मल्टीमॉडल MoE मॉडल Muse Spark Open (816B पैरामीटर्स, लगभग 42B एक्टिवेटेड, 1M टोकन…
Databricks ने प्रदर्शित किया कि व्यवस्थित प्रदर्शन अनुकूलन के माध्यम से AI Runtime पर Qwen 3.8 27B का फाइन-ट्यूनिंग…
vLLM ने सभी ड्राफ्ट मॉडल-आधारित स्पेक्युलेटिव प्रकारों में confidence scoring के विस्तार का समर्थन किया, जो ऑनलाइन…
Modal ने घोषणा की कि उसका वार्षिक राजस्व 1 बिलियन डॉलर के पार पहुंच गया है और उसने 15.75 बिलियन डॉलर के पोस्ट-मनी…
LangChain ने langchain-scaledown एकीकरण जारी किया है और LangSmith LLM Gateway में ScaleDown के कंस्ट्रेंड डिकोडिंग…
Anthropic ने इंजीनियरिंग समीक्षा जारी की, जिसके अनुसार Claude की वजह से दैनिक औसत मर्ज कोड वॉल्यूम मई 2026 में लगभग…
Microsoft ने अगले साल से Maia चिप परिवार को मल्टी-गीगावाट परिनियोजन तक बढ़ाने की घोषणा की है, जो उनके उत्पादों के लिए…
ComfyUI के एक ब्लॉगर ने एआई एजेंटों का उपयोग करके विभिन्न अनुकूलन एकत्र किए और MiniMax H3 रियल-टाइम वीडियो जनरेशन को…
Goodfire Research ने Kimi K3 और GLM 5.3 के लिए एक्टिवेशन प्रोब और LLM जज पर आधारित एक मॉनिटरिंग कैस्केड बनाया है और…
Inferact और vLLM कम्युनिटी ने DeepSeek-V4.1-Flash के रिलीज़ के तीन सप्ताह के भीतर ऑप्टिमाइज़ेशन पूरा कर लिया है, जिससे…
GitHub ने एआई एजेंट-पैमाने के विकास से उत्पन्न उच्च समवर्ती रीड और राइट लोड को संभालने के लिए Git इंफ्रास्ट्रक्चर के…
Together AI ने Together Link रिलीज़ किया है, जो टीमों के पहले से उपयोग किए जा रहे कोडिंग एजेंट टूल्स को Together AI पर…
Baseten के इंजीनियरों ने MetaInfer पेपर का उपयोग करते हुए Claude Code (Fable 5) के माध्यम से Qwen-3.6-35B-A3B (NVFP4,…
प्रचार
Orange Relay (pro.nat6.net) एक उच्च-गुणवत्ता वाला AI API रिले है: किफायती मूल्य, स्थिर गुणवत्ता और Claude, GPT, Gemini जैसे लोकप्रिय मॉडलों सहित पूर्ण मॉडल कवरेज।
Orange Relay देखें