Meinung

Beim Aufbau von KI-Agenten sollte Routing zuerst entworfen werden

Originaltitel:Most AI Work Can Wait

KI-Zusammenfassung

Beim Aufbau von KI-Agenten sollte das Routing zuerst entworfen werden, nicht die Modellauswahl. Das Routing entscheidet, welche Modellebene jede Anfrage bearbeitet. Korrektes Routing kann 70 bis 80 Prozent des Traffics auf kostenlose lokale Modelle oder asynchrone Inferenz verlagern und die KI-Kosten um über 90 Prozent senken. Brian Armstrong erklärte, Coinbase habe durch bessere Standardeinstellungen, Routing und Caching die KI-Ausgaben halbiert, während die Token-Nutzung stieg. Routing umfasst drei Ebenen: Skill-Klassifikator, Router und Modellauswahl. Lokale Berechnung kostet nahezu nichts, asynchrone Batch-Inferenz ist zwei Größenordnungen günstiger als Echtzeit-Inferenz. Die meisten Aufgaben erfordern keine Antwort in Sekunden. Ein synchroner Prädiktor markiert komplexe Aufgaben, ein nächtlicher Batch-Evaluator aktualisiert die Routing-Gewichte. Nach der Skill-Destillation können 70 bis 80 Prozent des Agenten-Traffics bei nicht codierenden Aufgaben von lokalen Modellen bewältigt werden.

Kernpunkte

  • Beim Aufbau von KI-Agenten sollte das Routing zuerst entworfen werden,nicht die Modellauswahl.
  • Das Routing entscheidet,welche Modellebene jede Anfrage bearbeitet.
  • Korrektes Routing kann 70 bis 80 Prozent des Traffics auf kostenlose lokale Modelle oder…
  • Brian Armstrong erklärte,Coinbase habe durch bessere Standardeinstellungen,Routing und Caching die…
  • Routing umfasst drei Ebenen: Skill-Klassifikator,Router und Modellauswahl.

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
Tomasz Tunguz 博客(VC 分析)
Kategorie
Meinung
KI-Bewertung
60
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

Tunguz 把代理架构的设计重心从模型选择拉回到路由上,三层分类器-路由器-选择器的划分很清晰,做 AI 应用的团队可以参考,但其中的新东西不多。

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Beim Aufbau von KI-Agenten sollte Routing zuerst entworfen werden. 1. Juli 2026. https://new.nat6.net/de/news/cmr2jc03c08kssl8zf2bmdjlj/

Alle ansehen →