AI 代理死循环能烧多少钱?同一个错重试 41 次,4 层防护怎么设
OpenRouter 拿 6 个模型、同一个注定失败的账单任务各跑 3 次:不加防护,18 次里有 4 次一路重试到 40 步上限;打开死循环检测后,16 次只真正调用 2 次工具就停了,合计花费从 0.29 美元降到 0.05 美元。不…
Topik rekayasa penerapan membahas cara menjalankan model lebih cepat dan hemat: akselerasi inferensi, optimasi memori dan biaya, penerapan layanan, pemantauan, dan observabilitas. Cocok bagi engineer yang bertanggung jawab atas peluncuran dan operasional.
Cara menjalankan model lebih cepat dan lebih hemat: percepatan penalaran, memori GPU dan biaya, penerapan layanan serta pemilihan infrastruktur.
OpenRouter 拿 6 个模型、同一个注定失败的账单任务各跑 3 次:不加防护,18 次里有 4 次一路重试到 40 步上限;打开死循环检测后,16 次只真正调用 2 次工具就停了,合计花费从 0.29 美元降到 0.05 美元。不…
OpenRouter meluncurkan lokalisasi Beta dalam 7 bahasa termasuk Tionghoa Sederhana dan Jepang, serta menjabarkan…
给智能体接工具,账单里往往不只是「调用了几次」,还包括每次请求都要重新塞进上下文的工具说明书,以及返回结果里一直留着的大段原文。OpenRouter 在 2026 年 11 月 11 日发表官方实测,用同一个 GitHub 任务比较 CL…
OpenRouter merilis artikel analisis kuantisasi yang menjelaskan prinsip kuantisasi LLM dan melaporkan pengujian pada…
OpenRouter merilis tutorial yang menjelaskan tiga cara memperoleh output terstruktur yang andal dari LLM mana pun:…
Sarvam AI meluncurkan layanan penalaran Token Factory, yang menyediakan model-model bobot terbuka seperti Sarvam 105B,…
OpenClaw merombak cara pengambilan daftar model, sekitar lima minggu dan 80 PR, model baru tidak lagi menunggu rilis…
2026 年 11 月 5 日,OpenAI 官网发布两份材料:面向自家拥有并运营的未来算力园区的《国家社区契约》(National Community Compact),以及一份呼吁联邦、州、地方政府立法的《算力园区政策蓝图》(Comp…
Tim SGLang bersama Cloudflare mengoordinasikan pengungkapan masalah eksposur KVCache lintas permintaan yang…
Wiz mengungkap bahwa versi berbahaya LiteLLM 1.107.0 diunggah ke PyPI pada 21 Oktober pukul 11:39 UTC, diisolasi pada…
Ant Group dan komunitas vLLM merilis Humming, pustaka kernel inferensi kuantisasi berperforma tinggi yang generik dan…
Google dan Meta bersama-sama merilis TorchTPU secara sumber terbuka, menyediakan backend PyTorch native untuk Google…
Proyek inferensi sumber terbuka llm-d yang dipimpin IBM, Red Hat, dan Google merilis llm-d 1.0 di PyTorch Conference…
DeepSeek mengumumkan pembukaan sumber penuh kerangka penalaran internal DeepInfer dan sekaligus membuka sumber…
Tim MiniCPM-V ModelBest memperkenalkan teknologi penjadwalan pakar prospektif (LES) yang mendukung MiniCPM-V 4.7…
Google meluncurkan fork TorchTitan TPU (github.com/google-pytorch/torchtitan), bersama backend native TorchTPU untuk…
Google dalam pengumuman terkait PyTorch meluncurkan mesin inferensi PyTorch native vLLM dan SGLang berbasis TorchTPU,…
Modal merilis Sticky Sessions, yang berdasarkan Modal Servers membuat semua permintaan dalam sesi yang sama dirutekan…
Blog n8n merilis tutorial tentang cara menerapkan tujuh model lokal pada satu NVIDIA DGX Spark (memori terpadu 128GB),…
Meta memperkenalkan supercluster skala gigawatt Prometheus di New Albany, Ohio, yang fase pertamanya telah selesai…
AWS mengumumkan TorchNeuron, backend PyTorch native sumber terbuka untuk Trainium, yang memasuki beta publik pada 20…
Tim SGLang meluncurkan Low-Latency Mode yang menghadirkan kernel khusus melalui kerangka plugin, secara signifikan…
Digital Life Kazik membagikan pengalaman penggunaan mendalam selama seminggu ASUS ProArt 16 (chip RTX Spark N1X,…
vLLM mengumumkan dukungan Day 0 untuk model Beam dari Reflection, model MoE dengan 501B parameter dan 23B parameter…
AMD dan Embedded LLM mengulas secara rinci di blog resmi vLLM optimasi inferensi Kimi K3 pada delapan kartu AMD…
Ant Ling secara resmi merilis Ling-3.1-flash sebagai sumber terbuka, dengan total parameter sekitar 560B, sekitar 25B…
Tim riset machine learning Apple mendemonstrasikan cara menjalankan model frontier hampir satu triliun parameter…
Tim SGLang mengumumkan dukungan penalaran Hari-0 untuk model MoE multimodal sumber terbuka Meta, Muse Spark Open (816B…
Databricks mendemonstrasikan melalui optimasi kinerja sistematis, waktu fine-tuning Qwen 3.8 27B di AI Runtime turun…
vLLM memperluas confidence scoring ke semua jenis spekulasi berbasis model draft, dengan menggunakan regresi logistik…
Modal mengumumkan pendapatan tahunannya menembus 1 miliar dolar AS dan menyelesaikan pendanaan Seri D senilai 750 juta…
LangChain merilis integrasi langchain-scaledown dan mendukung model constrained decoding (CDM) ScaleDown di LangSmith…
Anthropic merilis tinjauan rekayasa: karena Claude membuat volume kode yang digabungkan per hari naik dari sekitar…
Microsoft mengumumkan bahwa mulai tahun depan keluarga chip Maia akan diperluas ke penerapan skala multi-gigawatt…
Penulis blog ComfyUI menggunakan agen AI untuk mengumpulkan berbagai optimasi, sehingga generasi video real-time…
Goodfire Research membangun kaskade pemantauan berbasis probe aktivasi plus LLM judge untuk Kimi K3 dan GLM 5.3, lalu…
Inferact dan komunitas vLLM menyelesaikan optimasi dalam tiga minggu setelah rilis DeepSeek-V4.1-Flash, kecepatan pada…
GitHub mengumumkan pembangunan ulang infrastruktur Git untuk mendukung beban baca-tulis konkurensi tinggi akibat…
Together AI merilis Together Link, menghubungkan alat agen coding yang sudah digunakan tim ke model sumber terbuka di…
Insinyur Baseten merujuk makalah MetaInfer dan meminta Claude Code (Fable 5) membangun mesin penalaran VibeQwen secara…
Promosi
Orange Relay (pro.nat6.net) adalah stasiun relai AI API berkualitas tinggi: harga kompetitif, kualitas stabil, dan cakupan model lengkap, termasuk Claude, GPT, dan Gemini.
Kunjungi Orange Relay