Beim Aufbau von KI-Agenten sollte Routing zuerst entworfen werden
Originaltitel:Most AI Work Can Wait
KI-Zusammenfassung
Beim Aufbau von KI-Agenten sollte das Routing zuerst entworfen werden, nicht die Modellauswahl. Das Routing entscheidet, welche Modellebene jede Anfrage bearbeitet. Korrektes Routing kann 70 bis 80 Prozent des Traffics auf kostenlose lokale Modelle oder asynchrone Inferenz verlagern und die KI-Kosten um über 90 Prozent senken. Brian Armstrong erklärte, Coinbase habe durch bessere Standardeinstellungen, Routing und Caching die KI-Ausgaben halbiert, während die Token-Nutzung stieg. Routing umfasst drei Ebenen: Skill-Klassifikator, Router und Modellauswahl. Lokale Berechnung kostet nahezu nichts, asynchrone Batch-Inferenz ist zwei Größenordnungen günstiger als Echtzeit-Inferenz. Die meisten Aufgaben erfordern keine Antwort in Sekunden. Ein synchroner Prädiktor markiert komplexe Aufgaben, ein nächtlicher Batch-Evaluator aktualisiert die Routing-Gewichte. Nach der Skill-Destillation können 70 bis 80 Prozent des Agenten-Traffics bei nicht codierenden Aufgaben von lokalen Modellen bewältigt werden.
Kernpunkte
- Beim Aufbau von KI-Agenten sollte das Routing zuerst entworfen werden,nicht die Modellauswahl.
- Das Routing entscheidet,welche Modellebene jede Anfrage bearbeitet.
- Korrektes Routing kann 70 bis 80 Prozent des Traffics auf kostenlose lokale Modelle oder…
- Brian Armstrong erklärte,Coinbase habe durch bessere Standardeinstellungen,Routing und Caching die…
- Routing umfasst drei Ebenen: Skill-Klassifikator,Router und Modellauswahl.
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- Tomasz Tunguz 博客(VC 分析)
- Kategorie
- Meinung
- KI-Bewertung
- 60
Tunguz 把代理架构的设计重心从模型选择拉回到路由上,三层分类器-路由器-选择器的划分很清晰,做 AI 应用的团队可以参考,但其中的新东西不多。
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Beim Aufbau von KI-Agenten sollte Routing zuerst entworfen werden. 1. Juli 2026. https://new.nat6.net/de/news/cmr2jc03c08kssl8zf2bmdjlj/