Opini & Komentar

Membangun Agen AI Sebaiknya Prioritaskan Desain Router

Judul asli:Most AI Work Can Wait

Ringkasan AI

Saat membangun agen AI, desain router sebaiknya diprioritaskan daripada pemilihan model. Router menentukan lapisan model mana yang menangani setiap permintaan. Routing yang tepat memungkinkan 70-80% lalu lintas berjalan pada model lokal gratis atau inferensi asinkron, menurunkan biaya AI hingga 90%+. Brian Armstrong menyebut Coinbase memangkas pengeluaran AI menjadi separuh seiring pertumbuhan penggunaan token melalui pengaturan default, routing, dan caching yang lebih baik. Routing terdiri dari tiga lapisan: pengklasifikasi keterampilan, router, dan pemilih model. Komputasi lokal hampir tanpa biaya, sedangkan inferensi batch asinkron dua orde besaran lebih murah daripada inferensi real-time. Sebagian besar pekerjaan tidak memerlukan respons dalam hitungan detik. Prediktor sinkron menandai tugas kompleks, dan evaluator batch malam hari memperbarui bobot routing. Setelah distilasi keterampilan, 70-80% lalu lintas agen pada tugas non-pemrograman dapat ditangani model lokal.

Poin utama

  • Saat membangun agen AI,desain router sebaiknya diprioritaskan daripada pemilihan model.
  • Router menentukan lapisan model mana yang menangani setiap permintaan.
  • Routing yang tepat memungkinkan 70-80% lalu lintas berjalan pada model lokal gratis atau inferensi…
  • Brian Armstrong menyebut Coinbase memangkas pengeluaran AI menjadi separuh seiring pertumbuhan…
  • Routing terdiri dari tiga lapisan: pengklasifikasi keterampilan,router,dan pemilih model.

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Tomasz Tunguz 博客(VC 分析)
Kategori
Opini & Komentar
Skor AI
60
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

Tunguz 把代理架构的设计重心从模型选择拉回到路由上,三层分类器-路由器-选择器的划分很清晰,做 AI 应用的团队可以参考,但其中的新东西不多。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Membangun Agen AI Sebaiknya Prioritaskan Desain Router. 1 Juli 2026. https://new.nat6.net/id/news/cmr2jc03c08kssl8zf2bmdjlj/

Lihat semua →