AI 代理死循环能烧多少钱?同一个错重试 41 次,4 层防护怎么设
OpenRouter 拿 6 个模型、同一个注定失败的账单任务各跑 3 次:不加防护,18 次里有 4 次一路重试到 40 步上限;打开死循环检测后,16 次只真正调用 2 次工具就停了,合计花费从 0.29 美元降到 0.05 美元。不…
Ingeniería de despliegue aborda cómo ejecutar modelos más rápido y con menor coste: aceleración de inferencia, optimización de memoria, despliegue, monitorización y observabilidad. Con datos reales.
Cómo ejecutar modelos más rápido y con menor coste: aceleración de inferencia, memoria de vídeo y costes, despliegue de servicios y selección de infraestructura.
OpenRouter 拿 6 个模型、同一个注定失败的账单任务各跑 3 次:不加防护,18 次里有 4 次一路重试到 40 步上限;打开死循环检测后,16 次只真正调用 2 次工具就停了,合计花费从 0.29 美元降到 0.05 美元。不…
OpenRouter lanza la versión Beta de localización en 7 idiomas, entre ellos chino simplificado y japonés, y detalla su…
给智能体接工具,账单里往往不只是「调用了几次」,还包括每次请求都要重新塞进上下文的工具说明书,以及返回结果里一直留着的大段原文。OpenRouter 在 2026 年 11 月 11 日发表官方实测,用同一个 GitHub 任务比较 CL…
OpenRouter publica un artículo de análisis sobre cuantización que explica los principios de la cuantización de LLM y…
OpenRouter publica un tutorial que explica tres formas de obtener salidas estructuradas fiables de cualquier LLM:…
Sarvam AI presenta Token Factory, un servicio de inferencia que ofrece modelos de pesos abiertos como Sarvam 105B, GLM…
OpenClaw ha reestructurado la forma de obtener la lista de modelos, con unos cinco semanas y 80 PR, de modo que los…
2026 年 11 月 5 日,OpenAI 官网发布两份材料:面向自家拥有并运营的未来算力园区的《国家社区契约》(National Community Compact),以及一份呼吁联邦、州、地方政府立法的《算力园区政策蓝图》(Comp…
El equipo de SGLang, en coordinación con Cloudflare, reveló un problema de exposición de KVCache entre solicitudes que…
Wiz revela que el 21 de octubre a las 11:39 UTC se subió a PyPI una versión maliciosa de LiteLLM, la 1.107.0, que fue…
Ant Group y la comunidad vLLM publican como código abierto Humming, una biblioteca universal de kernels de inferencia…
Google y Meta lanzan conjuntamente TorchTPU como código abierto, que proporciona un backend nativo de PyTorch para…
llm-d, el proyecto de inferencia de código abierto liderado por IBM, Red Hat y Google, entre otros, lanzó llm-d 1.0 en…
DeepSeek anuncia la apertura completa del código de su marco de razonamiento interno DeepInfer y, al mismo tiempo, el…
El equipo de MiniCPM-V de ModelBest presentó la tecnología de programación anticipada de expertos (LES) que sustenta…
Google presentó el fork de TorchTitan para TPU (github.com/google-pytorch/torchtitan), que junto con el backend nativo…
Google presentó, en un anuncio relacionado con PyTorch, motores de inferencia nativos de PyTorch para vLLM y SGLang…
Modal lanza Sticky Sessions, que basado en Modal Servers fija el enrutamiento de todas las solicitudes de una misma…
El blog de n8n publica un tutorial sobre cómo desplegar siete modelos locales en un NVIDIA DGX Spark (128 GB de…
Meta presenta Prometheus, su superclúster de escala gigavatio ubicado en New Albany, Ohio, cuya primera fase ya está…
AWS anuncia TorchNeuron, un backend nativo de PyTorch de código abierto para Trainium, que abrió su beta pública el 20…
El equipo de SGLang presenta el modo de baja latencia, que introduce núcleos especializados mediante un marco de…
Digital Life Kazike comparte su experiencia de uso intensivo durante una semana con el ASUS ProArt 16 (chip RTX Spark…
vLLM anuncia soporte Day 0 para el modelo Beam de Reflection, un modelo MoE de 501B parámetros con 23B activos por…
AMD y Embedded LLM detallan en el blog oficial de vLLM la optimización de inferencia de Kimi K3 en ocho GPU AMD…
Ant Group Bailing abrió oficialmente Ling-3.1-flash, con unos 560B de parámetros totales, unos 25B activados por token…
El equipo de investigación de aprendizaje automático de Apple demuestra cómo ejecutar localmente en Mac Studio modelos…
El equipo de SGLang anuncia soporte de inferencia Day-0 para Muse Spark Open, el modelo multimodal MoE de código…
Databricks demuestra que, mediante optimizaciones sistemáticas de rendimiento, el tiempo de ajuste fino de Qwen 3.8…
vLLM amplía la puntuación de confianza a todos los tipos de especulación basados en modelos borrador, mediante una…
Modal anunció que sus ingresos anualizados superan los 1000 millones de dólares y que cerró una ronda D de 750…
LangChain lanza la integración langchain-scaledown y añade compatibilidad con el modelo de decodificación restringida…
Anthropic publica un análisis de ingeniería: como Claude hizo que las fusiones diarias de código pasaran de unas 2500…
Microsoft ha anunciado que, a partir del próximo año, ampliará la familia de chips Maia a despliegues de varios…
Un autor del blog de ComfyUI reunió diversas optimizaciones con un agente y logró ejecutar la generación de vídeo en…
Goodfire Research construyó una cascada de monitoreo basada en sondas de activación más un juez LLM para Kimi K3 y GLM…
Inferact y la comunidad de vLLM completaron las optimizaciones de DeepSeek-V4.1-Flash en las tres semanas posteriores…
GitHub anuncia la reconstrucción de su infraestructura Git para soportar la alta concurrencia de lectura y escritura…
Together AI presenta Together Link, que conecta las herramientas de agentes de programación que ya usa el equipo con…
Ingenieros de Baseten, basándose en el artículo MetaInfer, hicieron que Claude Code (Fable 5) construyera…
Patrocinado
Orange Relay (pro.nat6.net) es una excelente estación de retransmisión de API de IA: precios competitivos, calidad estable y amplia cobertura de modelos como Claude, GPT y Gemini.
Visitar Orange Relay