AI 代理死循环能烧多少钱?同一个错重试 41 次,4 层防护怎么设
OpenRouter 拿 6 个模型、同一个注定失败的账单任务各跑 3 次:不加防护,18 次里有 4 次一路重试到 40 步上限;打开死循环检测后,16 次只真正调用 2 次工具就停了,合计花费从 0.29 美元降到 0.05 美元。不…
Topik kejuruteraan penggunaan membincangkan cara menjalankan model dengan lebih pantas dan murah: pecutan inferens, pengoptimuman memori dan kos, penggunaan perkhidmatan, pemantauan dan kebolehcerapan. Kandungan menekankan penyelesaian dan data yang boleh diulang.
Cara menjalankan model dengan lebih pantas dan murah: pecutan penaakulan, memori GPU dan kos, penggunaan perkhidmatan serta pemilihan infrastruktur.
OpenRouter 拿 6 个模型、同一个注定失败的账单任务各跑 3 次:不加防护,18 次里有 4 次一路重试到 40 步上限;打开死循环检测后,16 次只真正调用 2 次工具就停了,合计花费从 0.29 美元降到 0.05 美元。不…
OpenRouter melancarkan penyetempatan Beta dalam 7 bahasa termasuk Cina Ringkas dan Jepun, serta menghuraikan saluran…
给智能体接工具,账单里往往不只是「调用了几次」,还包括每次请求都要重新塞进上下文的工具说明书,以及返回结果里一直留着的大段原文。OpenRouter 在 2026 年 11 月 11 日发表官方实测,用同一个 GitHub 任务比较 CL…
OpenRouter menerbitkan artikel analisis kuantisasi yang menjelaskan prinsip kuantisasi LLM dan melaporkan ujian…
OpenRouter menerbitkan tutorial yang menerangkan tiga cara untuk mendapatkan output berstruktur yang boleh dipercayai…
Sarvam AI melancarkan perkhidmatan inferens Token Factory, menawarkan model pemberat terbuka seperti Sarvam 105B, GLM…
OpenClaw menyusun semula cara mendapatkan senarai model, mengambil masa kira-kira lima minggu dan 80 PR, model baharu…
2026 年 11 月 5 日,OpenAI 官网发布两份材料:面向自家拥有并运营的未来算力园区的《国家社区契约》(National Community Compact),以及一份呼吁联邦、州、地方政府立法的《算力园区政策蓝图》(Comp…
Pasukan SGLang bersama Cloudflare menyelaras pendedahan isu pendedahan KVCache merentas permintaan yang menjejaskan…
Wiz mendedahkan bahawa versi berniat jahat LiteLLM 1.107.0 dimuat naik ke PyPI pada 21 Oktober 11:39 UTC, dikarantin…
Ant Group dan komuniti vLLM menyumberterbuka pustaka kernel penaakulan kuantisasi berprestasi tinggi serba guna…
Google dan Meta bersama-sama menyumber terbuka TorchTPU, menyediakan backend PyTorch asli untuk Google TPU, di mana…
Projek penaakulan sumber terbuka llm-d yang diterajui IBM, Red Hat dan Google melancarkan llm-d 1.0 di PyTorch…
DeepSeek mengumumkan pembukaan sumber penuh rangka kerja penaakulan dalaman DeepInfer, serta komponen pengekodan dan…
Pasukan MiniCPM-V ModelBest memperkenalkan teknologi penjadualan pakar prospektif (LES) yang menyokong operasi…
Google memperkenalkan fork TorchTitan TPU (github.com/google-pytorch/torchtitan), bersama backend asli TorchTPU untuk…
Google memperkenalkan enjin inferens PyTorch asli vLLM dan SGLang berasaskan TorchTPU dalam pengumuman berkaitan…
Modal melancarkan Sticky Sessions yang berdasarkan Modal Servers untuk menghalakan semua permintaan dalam sesi sama…
Blog n8n menerbitkan tutorial tentang cara menggunakan tujuh model tempatan pada satu NVIDIA DGX Spark (memori bersatu…
Meta memperkenalkan superkluster gigaWatt Prometheus di New Albany, Ohio, fasa pertama telah siap dibina dan digunakan…
AWS mengumumkan TorchNeuron, backend PyTorch asli sumber terbuka untuk Trainium, yang memulakan beta awam pada 20…
Pasukan SGLang memperkenalkan Low-Latency Mode yang membawa kernel khusus melalui rangka kerja pemalam, sekali gus…
Digital Life Kazike berkongsi pengalaman penggunaan mendalam selama seminggu ASUS ProArt 16 (cip RTX Spark N1X, memori…
vLLM mengumumkan sokongan Day 0 untuk model Beam daripada Reflection, iaitu model MoE dengan 501B parameter dan 23B…
AMD dan Embedded LLM menghuraikan secara terperinci dalam blog rasmi vLLM pengoptimuman penaakulan Kimi K3 pada lapan…
Ant Ling secara rasmi mengeluarkan Ling-3.1-flash sebagai sumber terbuka, dengan kira-kira 560B jumlah parameter,…
Pasukan penyelidikan pembelajaran mesin Apple menunjukkan cara menjalankan model termaju seperti Muse Spark Open yang…
Pasukan SGLang mengumumkan sokongan penaakulan Day-0 untuk model MoE multimodal sumber terbuka Meta, Muse Spark Open…
Databricks menunjukkan melalui pengoptimuman prestasi sistematik, masa penalaan halus Qwen 3.8 27B pada AI Runtime…
vLLM menyokong confidence scoring diperluaskan kepada semua jenis spekulasi berasaskan model draf, melalui regresi…
Modal mengumumkan hasil tahunannya melepasi $1 bilion dan menyelesaikan pembiayaan Siri D bernilai $750 juta, dengan…
LangChain melancarkan integrasi langchain-scaledown dan menyokong model penyahkodan terkawal (CDM) ScaleDown dalam…
Anthropic menerbitkan semakan kejuruteraan, kerana Claude menyebabkan jumlah kod yang digabungkan setiap hari…
Microsoft mengumumkan bahawa mulai tahun depan, keluarga cip Maia akan diperluas kepada penggunaan berbilang gigawatt…
Penulis blog ComfyUI menggunakan ejen AI untuk mengumpul pelbagai pengoptimuman, memampatkan penjanaan video masa…
Goodfire Research membina lata pemantauan berdasarkan probe pengaktifan serta hakim LLM untuk Kimi K3 dan GLM 5.3, dan…
Inferact dan komuniti vLLM menyelesaikan pengoptimuman dalam tiga minggu selepas pelancaran DeepSeek-V4.1-Flash,…
GitHub mengumumkan pembinaan semula infrastruktur Git untuk menyokong beban baca tulis serentak tinggi yang dibawa…
Together AI melancarkan Together Link, menghubungkan alat ejen pengekodan yang sudah digunakan pasukan kepada model…
Jurutera Baseten merujuk kertas MetaInfer dan membolehkan Claude Code (Fable 5) membina secara automatik enjin…
Promosi
Orange Relay (pro.nat6.net) ialah stesen geganti AI API berkualiti tinggi: harga berpatutan, kualiti stabil dan liputan model lengkap, termasuk Claude, GPT dan Gemini.
Lawati Orange Relay