AI 代理死循环能烧多少钱?同一个错重试 41 次,4 层防护怎么设
OpenRouter 拿 6 个模型、同一个注定失败的账单任务各跑 3 次:不加防护,18 次里有 4 次一路重试到 40 步上限;打开死循环检测后,16 次只真正调用 2 次工具就停了,合计花费从 0.29 美元降到 0.05 美元。不…
Инженерия развёртывания: как запускать модели быстрее и дешевле — ускорение вывода, оптимизация памяти и затрат, деплой, мониторинг и наблюдаемость.
Как запускать модели быстрее и дешевле: ускорение инференса, видеопамять и затраты, развёртывание сервисов и выбор инфраструктуры.
OpenRouter 拿 6 个模型、同一个注定失败的账单任务各跑 3 次:不加防护,18 次里有 4 次一路重试到 40 步上限;打开死循环检测后,16 次只真正调用 2 次工具就停了,合计花费从 0.29 美元降到 0.05 美元。不…
OpenRouter запустил бета-локализацию на 7 языках, включая упрощённый китайский и японский, и подробно описал…
给智能体接工具,账单里往往不只是「调用了几次」,还包括每次请求都要重新塞进上下文的工具说明书,以及返回结果里一直留着的大段原文。OpenRouter 在 2026 年 11 月 11 日发表官方实测,用同一个 GitHub 任务比较 CL…
OpenRouter опубликовал разбор квантования, объяснив принципы квантования LLM и представив результаты тестов от 20…
OpenRouter опубликовал учебник, в котором объясняются три способа получения надёжного структурированного вывода от…
Sarvam AI представила инференс-сервис Token Factory, который через API, совместимый с OpenAI, предоставляет модели с…
OpenClaw переработал способ получения списка моделей — около пяти недель, 80 PR; новые модели больше не ждут выпуска…
2026 年 11 月 5 日,OpenAI 官网发布两份材料:面向自家拥有并运营的未来算力园区的《国家社区契约》(National Community Compact),以及一份呼吁联邦、州、地方政府立法的《算力园区政策蓝图》(Comp…
Команда SGLang совместно с Cloudflare раскрыла проблему раскрытия KVCache между запросами, затронувшую…
Wiz сообщила, что 21 октября в 11:39 UTC в PyPI была загружена вредоносная версия LiteLLM 1.107.0, изолированная в…
Ant Group и сообщество vLLM выпустили универсальную высокопроизводительную библиотеку ядер квантованного вывода…
Google и Meta совместно выпустили TorchTPU с открытым исходным кодом — нативный бэкенд PyTorch для Google TPU. Модели…
Открытый проект инференса llm-d, который ведут IBM, Red Hat и Google, представил llm-d 1.0 на PyTorch Conference North…
DeepSeek объявила о полном открытии исходного кода внутреннего фреймворка рассуждений DeepInfer, а также синхронно…
Команда MiniCPM-V компании ModelBest представила технологию упреждающего планирования экспертов (LES), обеспечивающую…
Google представила форк TorchTitan для TPU (github.com/google-pytorch/torchtitan), который вместе с нативным бэкендом…
Google в рамках анонсов, связанных с PyTorch, представил нативные движки вывода PyTorch для vLLM и SGLang на базе…
Modal выпустила Sticky Sessions: на основе Modal Servers все запросы одной сессии фиксированно направляются в один…
Блог n8n опубликовал учебник о том, как развернуть семь локальных моделей на одном NVIDIA DGX Spark (128 ГБ…
Meta представила гиперкластер Prometheus мощностью в гигаватт в Нью-Олбани, штат Огайо. Первая очередь уже построена и…
AWS объявила о выпуске TorchNeuron — открытого нативного бэкенда PyTorch для Trainium; 20 октября под лицензией Apache…
Команда SGLang представила Low-Latency Mode: через плагинную архитектуру добавлены специализированные ядра,…
Цифровой создатель Кацк поделился опытом недельного использования ASUS ProArt 16 (чип RTX Spark N1X, 128 ГБ…
vLLM объявила о поддержке с Day 0 модели Beam от Reflection — MoE-модели с 501 млрд параметров и 23 млрд активных на…
AMD и Embedded LLM в официальном блоге vLLM подробно описали оптимизацию вывода Kimi K3 на восьми AMD Instinct MI355X.
Ant Bailing официально открыла исходный код Ling-3.1-flash: около 560B общих параметров, около 25B активируемых на…
Исследовательская команда Apple по машинному обучению продемонстрировала локальный запуск на Mac Studio передовых…
Команда SGLang объявила о Day-0 поддержке инференса открытой мультимодальной MoE-модели Meta Muse Spark Open (816B…
Databricks продемонстрировала, что благодаря систематической оптимизации производительности время дообучения Qwen 3.8…
vLLM распространила confidence scoring на все типы спекулятивного декодирования на основе драфт-моделей: с помощью…
Modal объявила о превышении $1 млрд годовой выручки и завершении раунда D на $750 млн при постденежной оценке $15,75…
LangChain выпустила интеграцию langchain-scaledown и добавила поддержку моделей ScaleDown с ограниченным…
Anthropic опубликовала инженерный разбор: поскольку Claude увеличил среднесуточный объём сливаемого кода с примерно…
Microsoft объявила, что со следующего года расширит семейство чипов Maia до развёртывания мощностью в несколько гигават…
Автор блога ComfyUI с помощью агента собрал различные оптимизации и уместил генерацию видео в реальном времени на…
Goodfire Research построила для Kimi K3 и GLM 5.3 каскад мониторинга на основе активационных проб и LLM judge и…
Inferact и сообщество vLLM завершили оптимизацию DeepSeek-V4.1-Flash в течение трёх недель после выпуска: скорость при…
GitHub объявила о перестройке инфраструктуры Git для поддержки высококонкурентных нагрузок чтения и записи, связанных…
Together AI выпустила Together Link — решение, подключающее используемые командой инструменты кодирующих агентов к…
Инженер Baseten, опираясь на статью MetaInfer, заставил Claude Code (Fable 5) автоматически построить движок инференса…
Промо
Orange Relay (pro.nat6.net) — качественная станция-релей AI-API: выгодные цены, стабильное качество и широкий выбор моделей, включая Claude, GPT и Gemini.
Перейти в Orange Relay