Artículos e investigación

No volver a perder ningún token: análisis de Token-In-Token-Out (TITO) en Miles

Título original:Blog No Token Left Behind: Demystifying Token-In-Token-Out in Miles In agentic RL, a rollout is not a single generation. It is a chain of model calls, tool outputs, harness messages, and resumed generations. Token-In-Token-Out (TITO) is a design principle that address... Miles Team: Jiajun Li, Yanbin Jiang, Mao Cheng, Shi Dong, Yusheng Su, Yueming Yuan, Zhichen Zeng, Banghua Zhu

Resumen de IA

El marco Miles propone el principio Token-In-Token-Out (TITO) para resolver el desajuste entre entrenamiento e inferencia en el aprendizaje por refuerzo de agentes: garantizar que la secuencia de tokens del proceso de rollout coincida bit a bit con la secuencia evaluada por el entrenador. TITO trata una trayectoria multiturno como una secuencia continua (una muestra por tarea), ahorra un orden de magnitud de cómputo y mantiene la propiedad on-policy. Hay tres escenarios que lo rompen: desajuste entre destokenización y retokenización, recorte del contenido de razonamiento por la plantilla de chat y rerenderizado con plantillas con pérdida. Miles lo implementa mediante un servidor de sesiones de inferencia, garantías de solo anexado en tres niveles, un tokenizador TITO conectable y un comparador de secuencias. Las trayectorias de tareas típicas (como SWE-Bench) contienen entre 30 y 50 turnos.

Puntos clave

  • El marco Miles propone el principio Token-In-Token-Out (TITO) para resolver el desajuste entre…
  • TITO trata una trayectoria multiturno como una secuencia continua (una muestra por tarea),ahorra…
  • Hay tres escenarios que lo rompen: desajuste entre destokenización y retokenización,recorte del…
  • Miles lo implementa mediante un servidor de sesiones de inferencia,garantías de solo anexado en…
  • Las trayectorias de tareas típicas (como SWE-Bench) contienen entre 30 y 50 turnos.

Resumen rápido

Publicado
Actualizado
Fuente
LMSYS Blog
Categoría
Artículos e investigación
Puntuación IA
62
Leer el original Leer el artículo completo en la fuente original
Por qué importa

LMSYS团队把agent RL里最隐秘的训练-推理不一致问题解释透了,TITO原则直接告诉你为什么之前训练不稳,做agent训练的都该看看这篇。

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: No volver a perder ningún token: análisis de Token-In-Token-Out (TITO) en Miles. 5. junio 2026. https://new.nat6.net/es/news/cmq6w1tl0001jslbh8gv57k90/

Ver todo →