Mga Opinyon at Komentaryo

Dapat unahin ang disenyo ng routing kapag bumubuo ng AI agent

Orihinal na pamagat:Most AI Work Can Wait

AI summary

Kapag bumubuo ng AI agent, dapat unahin ang disenyo ng router kaysa sa pagpili ng modelo. Ang router ang nagtatakda kung aling layer ng modelo ang hahawak sa bawat request. Sa tamang routing, 70-80% ng traffic ay maaaring tumakbo sa libreng local model o asynchronous inference, na nagpapababa ng AI cost ng 90%+. Sinabi ni Brian Armstrong na sa pamamagitan ng mas mahusay na default setting, routing at caching, nahati ng Coinbase ang AI spending habang lumalaki ang token usage. Tatlong layer ang routing: skill classifier, router, model selector. Halos zero ang cost ng local compute, at ang asynchronous batch inference ay mas mura ng dalawang order of magnitude kaysa real-time inference. Karamihan sa trabaho ay hindi nangangailangan ng second-level response. Ang synchronous predictor ay nagmamarka ng complex task, at ang nightly batch evaluator ay nag-a-update ng routing weights. Pagkatapos ng skill distillation, 70-80% ng agent traffic sa non-coding task ay kayang hawakan ng local model.

Mahahalagang impormasyon

  • Kapag bumubuo ng AI agent,dapat unahin ang disenyo ng router kaysa sa pagpili ng modelo.
  • Ang router ang nagtatakda kung aling layer ng modelo ang hahawak sa bawat request.
  • Sa tamang routing,70-80% ng traffic ay maaaring tumakbo sa libreng local model o asynchronous…
  • Sinabi ni Brian Armstrong na sa pamamagitan ng mas mahusay na default setting,routing at…
  • Tatlong layer ang routing: skill classifier,router,model selector.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
Tomasz Tunguz 博客(VC 分析)
Kategorya
Mga Opinyon at Komentaryo
AI na marka
60
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

Tunguz 把代理架构的设计重心从模型选择拉回到路由上,三层分类器-路由器-选择器的划分很清晰,做 AI 应用的团队可以参考,但其中的新东西不多。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Dapat unahin ang disenyo ng routing kapag bumubuo ng AI agent. 1 Hulyo 2026. https://new.nat6.net/fil/news/cmr2jc03c08kssl8zf2bmdjlj/

Tingnan lahat →