Opinión

Al construir agentes de IA, priorice el diseño del enrutador

Título original:Most AI Work Can Wait

Resumen de IA

Al construir agentes de IA conviene diseñar primero el enrutador y no elegir el modelo. El enrutador decide qué nivel de modelo atiende cada petición. Un enrutamiento correcto permite que el 70-80 % del tráfico se ejecute en modelos locales gratuitos o en inferencia asíncrona, y reduce el coste de IA más del 90 %. Brian Armstrong señala que Coinbase, con mejores valores predeterminados, enrutamiento y caché, redujo a la mitad su gasto en IA mientras crecía el uso de tokens. El enrutamiento tiene tres capas: clasificador de habilidades, enrutador y selector de modelo. El cómputo local es casi gratuito y la inferencia por lotes asíncrona es dos órdenes de magnitud más barata que la inferencia en tiempo real. La mayoría de las tareas no necesitan respuesta en segundos. Un predictor síncrono marca las tareas complejas y un evaluador por lotes nocturno actualiza los pesos del enrutamiento. Tras destilar habilidades, el 70-80 % del tráfico de agentes en tareas no de programación puede gestionarse con modelos locales.

Puntos clave

  • Al construir agentes de IA conviene diseñar primero el enrutador y no elegir el modelo.
  • El enrutador decide qué nivel de modelo atiende cada petición.
  • Un enrutamiento correcto permite que el 70-80 % del tráfico se ejecute en modelos locales…
  • Brian Armstrong señala que Coinbase,con mejores valores predeterminados,enrutamiento y…
  • El enrutamiento tiene tres capas: clasificador de habilidades,enrutador y selector de modelo.

Resumen rápido

Publicado
Actualizado
Fuente
Tomasz Tunguz 博客(VC 分析)
Categoría
Opinión
Puntuación IA
60
Leer el original Leer el artículo completo en la fuente original
Por qué importa

Tunguz 把代理架构的设计重心从模型选择拉回到路由上,三层分类器-路由器-选择器的划分很清晰,做 AI 应用的团队可以参考,但其中的新东西不多。

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Al construir agentes de IA, priorice el diseño del enrutador. 1. julio 2026. https://new.nat6.net/es/news/cmr2jc03c08kssl8zf2bmdjlj/

Ver todo →