Мнения

При создании ИИ-агентов следует в первую очередь проектировать маршрутизацию

Оригинальный заголовок:Most AI Work Can Wait

ИИ-резюме

При создании ИИ-агентов следует в первую очередь проектировать маршрутизатор, а не выбирать модель. Маршрутизация определяет, какой уровень модели обрабатывает каждый запрос. Правильная маршрутизация позволяет направить 70-80% трафика на бесплатные локальные модели или асинхронный инференс, снижая расходы на ИИ более чем на 90%. Brian Armstrong отметил, что Coinbase благодаря лучшим настройкам по умолчанию, маршрутизации и кэшированию вдвое сократила расходы на ИИ при росте использования токенов. Маршрутизация делится на три уровня: классификатор навыков, маршрутизатор, селектор моделей. Локальные вычисления почти бесплатны, асинхронный пакетный инференс на два порядка дешевле реального времени. Большинству задач не нужен ответ за секунды. Синхронный предиктор помечает сложные задачи, ночной пакетный оценщик обновляет веса маршрутизации. После дистилляции навыков 70-80% трафика агентов в не связанных с программированием задачах может обрабатываться локальными моделями.

Ключевые моменты

  • При создании ИИ-агентов следует в первую очередь проектировать маршрутизатор,а не выбирать модель.
  • Маршрутизация определяет,какой уровень модели обрабатывает каждый запрос.
  • Правильная маршрутизация позволяет направить 70-80% трафика на бесплатные локальные модели или…
  • Brian Armstrong отметил,что Coinbase благодаря лучшим настройкам по умолчанию,маршрутизации и…
  • Маршрутизация делится на три уровня: классификатор навыков,маршрутизатор,селектор моделей.

Кратко

Опубликовано
Обновлено
Источник
Tomasz Tunguz 博客(VC 分析)
Категория
Мнения
Оценка ИИ
60
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

Tunguz 把代理架构的设计重心从模型选择拉回到路由上,三层分类器-路由器-选择器的划分很清晰,做 AI 应用的团队可以参考,但其中的新东西不多。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: При создании ИИ-агентов следует в первую очередь проектировать маршрутизацию. 1 июля 2026. https://new.nat6.net/ru/news/cmr2jc03c08kssl8zf2bmdjlj/

Смотреть все →