Pandangan dan ulasan

Bina Ejen AI Patut Utamakan Reka Bentuk Penghalaan

Tajuk asal:Most AI Work Can Wait

Ringkasan AI

Apabila membina ejen AI, reka bentuk penghala (router) patut diutamakan berbanding pemilihan model. Penghala menentukan lapisan model mana yang mengendalikan setiap permintaan. Penghalaan yang betul membolehkan 70-80% trafik berjalan pada model tempatan percuma atau penaakulan tak segerak, mengurangkan kos AI sebanyak 90%+. Brian Armstrong menyatakan Coinbase melalui tetapan lalai, penghalaan dan cache yang lebih baik berjaya mengurangkan perbelanjaan AI separuh sambil penggunaan token meningkat. Penghalaan terbahagi kepada tiga lapisan: pengelas kemahiran, penghala dan pemilih model. Pengiraan tempatan hampir kos sifar, manakala penaakulan kelompok tak segerak adalah dua urutan magnitud lebih murah daripada penaakulan masa nyata. Kebanyakan kerja tidak memerlukan respons dalam beberapa saat. Peramal segerak menandakan tugas kompleks, manakala penilai kelompok malam mengemas kini pemberat penghalaan. Selepas penyulingan kemahiran, 70-80% trafik ejen bagi tugas bukan pengekodan boleh dikendalikan oleh model tempatan.

Maklumat penting

  • Apabila membina ejen AI,reka bentuk penghala (router) patut diutamakan berbanding pemilihan model.
  • Penghala menentukan lapisan model mana yang mengendalikan setiap permintaan.
  • Penghalaan yang betul membolehkan 70-80% trafik berjalan pada model tempatan percuma atau…
  • Brian Armstrong menyatakan Coinbase melalui tetapan lalai,penghalaan dan cache yang lebih baik…
  • Penghalaan terbahagi kepada tiga lapisan: pengelas kemahiran,penghala dan pemilih model.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
Tomasz Tunguz 博客(VC 分析)
Kategori
Pandangan dan ulasan
Skor AI
60
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

Tunguz 把代理架构的设计重心从模型选择拉回到路由上,三层分类器-路由器-选择器的划分很清晰,做 AI 应用的团队可以参考,但其中的新东西不多。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Bina Ejen AI Patut Utamakan Reka Bentuk Penghalaan. 1 Julai 2026. https://new.nat6.net/ms/news/cmr2jc03c08kssl8zf2bmdjlj/

Lihat Semua →