Статьи и исследования

Больше ни одного потерянного токена: разбор Token-In-Token-Out (TITO) в Miles

Оригинальный заголовок:Blog No Token Left Behind: Demystifying Token-In-Token-Out in Miles In agentic RL, a rollout is not a single generation. It is a chain of model calls, tool outputs, harness messages, and resumed generations. Token-In-Token-Out (TITO) is a design principle that address... Miles Team: Jiajun Li, Yanbin Jiang, Mao Cheng, Shi Dong, Yusheng Su, Yueming Yuan, Zhichen Zeng, Banghua Zhu

ИИ-резюме

Фреймворк Miles предлагает принцип Token-In-Token-Out (TITO), решающий проблему несоответствия обучения и инференса в обучении с подкреплением агентов: последовательность токенов в процессе rollout должна побитово совпадать с последовательностью, которую оценивает тренер. TITO рассматривает многошаговую траекторию как единую непрерывную последовательность (один образец на задачу), что на порядок сокращает вычислительные затраты и сохраняет on-policy-свойство. Три сценария нарушения: несоответствие при обратном и повторном токенизировании, обрезка содержимого рассуждений шаблоном чата, повторный рендеринг с потерями в шаблоне. Miles реализует это через сервер сессий инференса, трёхуровневые гарантии только-дозаписи, подключаемый TITO-токенизатор и компаратор последовательностей. Типичные задачи (например, SWE-Bench) содержат траектории из 30-50 шагов.

Ключевые моменты

  • Фреймворк Miles предлагает принцип Token-In-Token-Out (TITO),решающий проблему несоответствия…
  • TITO рассматривает многошаговую траекторию как единую непрерывную последовательность (один образец…
  • Три сценария нарушения: несоответствие при обратном и повторном токенизировании,обрезка…
  • Miles реализует это через сервер сессий инференса,трёхуровневые гарантии…
  • Типичные задачи (например,SWE-Bench) содержат траектории из 30-50 шагов.

Кратко

Опубликовано
Обновлено
Источник
LMSYS Blog
Категория
Статьи и исследования
Оценка ИИ
62
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

LMSYS团队把agent RL里最隐秘的训练-推理不一致问题解释透了,TITO原则直接告诉你为什么之前训练不稳,做agent训练的都该看看这篇。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Больше ни одного потерянного токена: разбор Token-In-Token-Out (TITO) в Miles. 5 июня 2026. https://new.nat6.net/ru/news/cmq6w1tl0001jslbh8gv57k90/

Смотреть все →