Bina Ejen AI Patut Utamakan Reka Bentuk Penghalaan
Tajuk asal:Most AI Work Can Wait
Ringkasan AI
Apabila membina ejen AI, reka bentuk penghala (router) patut diutamakan berbanding pemilihan model. Penghala menentukan lapisan model mana yang mengendalikan setiap permintaan. Penghalaan yang betul membolehkan 70-80% trafik berjalan pada model tempatan percuma atau penaakulan tak segerak, mengurangkan kos AI sebanyak 90%+. Brian Armstrong menyatakan Coinbase melalui tetapan lalai, penghalaan dan cache yang lebih baik berjaya mengurangkan perbelanjaan AI separuh sambil penggunaan token meningkat. Penghalaan terbahagi kepada tiga lapisan: pengelas kemahiran, penghala dan pemilih model. Pengiraan tempatan hampir kos sifar, manakala penaakulan kelompok tak segerak adalah dua urutan magnitud lebih murah daripada penaakulan masa nyata. Kebanyakan kerja tidak memerlukan respons dalam beberapa saat. Peramal segerak menandakan tugas kompleks, manakala penilai kelompok malam mengemas kini pemberat penghalaan. Selepas penyulingan kemahiran, 70-80% trafik ejen bagi tugas bukan pengekodan boleh dikendalikan oleh model tempatan.
Maklumat penting
- Apabila membina ejen AI,reka bentuk penghala (router) patut diutamakan berbanding pemilihan model.
- Penghala menentukan lapisan model mana yang mengendalikan setiap permintaan.
- Penghalaan yang betul membolehkan 70-80% trafik berjalan pada model tempatan percuma atau…
- Brian Armstrong menyatakan Coinbase melalui tetapan lalai,penghalaan dan cache yang lebih baik…
- Penghalaan terbahagi kepada tiga lapisan: pengelas kemahiran,penghala dan pemilih model.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- Tomasz Tunguz 博客(VC 分析)
- Kategori
- Pandangan dan ulasan
- Skor AI
- 60
Tunguz 把代理架构的设计重心从模型选择拉回到路由上,三层分类器-路由器-选择器的划分很清晰,做 AI 应用的团队可以参考,但其中的新东西不多。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Bina Ejen AI Patut Utamakan Reka Bentuk Penghalaan. 1 Julai 2026. https://new.nat6.net/ms/news/cmr2jc03c08kssl8zf2bmdjlj/