Pour construire des agents IA, concevoir d'abord le routage
Titre original:Most AI Work Can Wait
Résumé IA
Lors de la construction d'agents IA, il faut concevoir le routeur en priorité plutôt que choisir le modèle. Le routage détermine quelle couche de modèle traite chaque requête. Un routage correct permet à 70 à 80 % du trafic de tourner sur des modèles locaux gratuits ou en inférence asynchrone, réduisant les coûts d'IA de plus de 90 %. Brian Armstrong indique que Coinbase a divisé par deux ses dépenses d'IA tout en augmentant l'usage de tokens, grâce à de meilleurs paramètres par défaut, au routage et à la mise en cache. Le routage se fait en trois couches : classificateur de compétences, routeur et sélecteur de modèle. Le calcul local est quasi gratuit, et l'inférence par lots asynchrone coûte deux ordres de grandeur de moins que l'inférence en temps réel. La plupart des tâches n'exigent pas de réponse en une seconde. Un prédicteur synchrone signale les tâches complexes, et un évaluateur par lots nocturne met à jour les poids de routage. Après distillation des compétences, 70 à 80 % du trafic d'agents sur les tâches non liées au code peut être traité par des modèles locaux.
Points clés
- Lors de la construction d'agents IA,il faut concevoir le routeur en priorité plutôt que choisir le…
- Le routage détermine quelle couche de modèle traite chaque requête.
- Un routage correct permet à 70 à 80 % du trafic de tourner sur des modèles locaux gratuits ou en…
- Brian Armstrong indique que Coinbase a divisé par deux ses dépenses d'IA tout en augmentant…
- Le routage se fait en trois couches: classificateur de compétences,routeur et sélecteur de modèle.
En bref
- Publié
- Mis à jour
- Source
- Tomasz Tunguz 博客(VC 分析)
- Catégorie
- Opinion
- Score IA
- 60
Tunguz 把代理架构的设计重心从模型选择拉回到路由上,三层分类器-路由器-选择器的划分很清晰,做 AI 应用的团队可以参考,但其中的新东西不多。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Pour construire des agents IA, concevoir d'abord le routage. 1. juillet 2026. https://new.nat6.net/fr/news/cmr2jc03c08kssl8zf2bmdjlj/