Opinion

Pour construire des agents IA, concevoir d'abord le routage

Titre original:Most AI Work Can Wait

Résumé IA

Lors de la construction d'agents IA, il faut concevoir le routeur en priorité plutôt que choisir le modèle. Le routage détermine quelle couche de modèle traite chaque requête. Un routage correct permet à 70 à 80 % du trafic de tourner sur des modèles locaux gratuits ou en inférence asynchrone, réduisant les coûts d'IA de plus de 90 %. Brian Armstrong indique que Coinbase a divisé par deux ses dépenses d'IA tout en augmentant l'usage de tokens, grâce à de meilleurs paramètres par défaut, au routage et à la mise en cache. Le routage se fait en trois couches : classificateur de compétences, routeur et sélecteur de modèle. Le calcul local est quasi gratuit, et l'inférence par lots asynchrone coûte deux ordres de grandeur de moins que l'inférence en temps réel. La plupart des tâches n'exigent pas de réponse en une seconde. Un prédicteur synchrone signale les tâches complexes, et un évaluateur par lots nocturne met à jour les poids de routage. Après distillation des compétences, 70 à 80 % du trafic d'agents sur les tâches non liées au code peut être traité par des modèles locaux.

Points clés

  • Lors de la construction d'agents IA,il faut concevoir le routeur en priorité plutôt que choisir le…
  • Le routage détermine quelle couche de modèle traite chaque requête.
  • Un routage correct permet à 70 à 80 % du trafic de tourner sur des modèles locaux gratuits ou en…
  • Brian Armstrong indique que Coinbase a divisé par deux ses dépenses d'IA tout en augmentant…
  • Le routage se fait en trois couches: classificateur de compétences,routeur et sélecteur de modèle.

En bref

Publié
Mis à jour
Source
Tomasz Tunguz 博客(VC 分析)
Catégorie
Opinion
Score IA
60
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

Tunguz 把代理架构的设计重心从模型选择拉回到路由上,三层分类器-路由器-选择器的划分很清晰,做 AI 应用的团队可以参考,但其中的新东西不多。

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Pour construire des agents IA, concevoir d'abord le routage. 1. juillet 2026. https://new.nat6.net/fr/news/cmr2jc03c08kssl8zf2bmdjlj/

Tout voir →