Dapat unahin ang disenyo ng routing kapag bumubuo ng AI agent
Orihinal na pamagat:Most AI Work Can Wait
AI summary
Kapag bumubuo ng AI agent, dapat unahin ang disenyo ng router kaysa sa pagpili ng modelo. Ang router ang nagtatakda kung aling layer ng modelo ang hahawak sa bawat request. Sa tamang routing, 70-80% ng traffic ay maaaring tumakbo sa libreng local model o asynchronous inference, na nagpapababa ng AI cost ng 90%+. Sinabi ni Brian Armstrong na sa pamamagitan ng mas mahusay na default setting, routing at caching, nahati ng Coinbase ang AI spending habang lumalaki ang token usage. Tatlong layer ang routing: skill classifier, router, model selector. Halos zero ang cost ng local compute, at ang asynchronous batch inference ay mas mura ng dalawang order of magnitude kaysa real-time inference. Karamihan sa trabaho ay hindi nangangailangan ng second-level response. Ang synchronous predictor ay nagmamarka ng complex task, at ang nightly batch evaluator ay nag-a-update ng routing weights. Pagkatapos ng skill distillation, 70-80% ng agent traffic sa non-coding task ay kayang hawakan ng local model.
Mahahalagang impormasyon
- Kapag bumubuo ng AI agent,dapat unahin ang disenyo ng router kaysa sa pagpili ng modelo.
- Ang router ang nagtatakda kung aling layer ng modelo ang hahawak sa bawat request.
- Sa tamang routing,70-80% ng traffic ay maaaring tumakbo sa libreng local model o asynchronous…
- Sinabi ni Brian Armstrong na sa pamamagitan ng mas mahusay na default setting,routing at…
- Tatlong layer ang routing: skill classifier,router,model selector.
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- Tomasz Tunguz 博客(VC 分析)
- Kategorya
- Mga Opinyon at Komentaryo
- AI na marka
- 60
Tunguz 把代理架构的设计重心从模型选择拉回到路由上,三层分类器-路由器-选择器的划分很清晰,做 AI 应用的团队可以参考,但其中的新东西不多。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Dapat unahin ang disenyo ng routing kapag bumubuo ng AI agent. 1 Hulyo 2026. https://new.nat6.net/fil/news/cmr2jc03c08kssl8zf2bmdjlj/