Больше ни одного потерянного токена: разбор Token-In-Token-Out (TITO) в Miles
Оригинальный заголовок:Blog No Token Left Behind: Demystifying Token-In-Token-Out in Miles In agentic RL, a rollout is not a single generation. It is a chain of model calls, tool outputs, harness messages, and resumed generations. Token-In-Token-Out (TITO) is a design principle that address... Miles Team: Jiajun Li, Yanbin Jiang, Mao Cheng, Shi Dong, Yusheng Su, Yueming Yuan, Zhichen Zeng, Banghua Zhu
ИИ-резюме
Фреймворк Miles предлагает принцип Token-In-Token-Out (TITO), решающий проблему несоответствия обучения и инференса в обучении с подкреплением агентов: последовательность токенов в процессе rollout должна побитово совпадать с последовательностью, которую оценивает тренер. TITO рассматривает многошаговую траекторию как единую непрерывную последовательность (один образец на задачу), что на порядок сокращает вычислительные затраты и сохраняет on-policy-свойство. Три сценария нарушения: несоответствие при обратном и повторном токенизировании, обрезка содержимого рассуждений шаблоном чата, повторный рендеринг с потерями в шаблоне. Miles реализует это через сервер сессий инференса, трёхуровневые гарантии только-дозаписи, подключаемый TITO-токенизатор и компаратор последовательностей. Типичные задачи (например, SWE-Bench) содержат траектории из 30-50 шагов.
Ключевые моменты
- Фреймворк Miles предлагает принцип Token-In-Token-Out (TITO),решающий проблему несоответствия…
- TITO рассматривает многошаговую траекторию как единую непрерывную последовательность (один образец…
- Три сценария нарушения: несоответствие при обратном и повторном токенизировании,обрезка…
- Miles реализует это через сервер сессий инференса,трёхуровневые гарантии…
- Типичные задачи (например,SWE-Bench) содержат траектории из 30-50 шагов.
Кратко
- Опубликовано
- Обновлено
- Источник
- LMSYS Blog
- Категория
- Статьи и исследования
- Оценка ИИ
- 62
LMSYS团队把agent RL里最隐秘的训练-推理不一致问题解释透了,TITO原则直接告诉你为什么之前训练不稳,做agent训练的都该看看这篇。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Больше ни одного потерянного токена: разбор Token-In-Token-Out (TITO) в Miles. 5 июня 2026. https://new.nat6.net/ru/news/cmq6w1tl0001jslbh8gv57k90/