No volver a perder ningún token: análisis de Token-In-Token-Out (TITO) en Miles
Título original:Blog No Token Left Behind: Demystifying Token-In-Token-Out in Miles In agentic RL, a rollout is not a single generation. It is a chain of model calls, tool outputs, harness messages, and resumed generations. Token-In-Token-Out (TITO) is a design principle that address... Miles Team: Jiajun Li, Yanbin Jiang, Mao Cheng, Shi Dong, Yusheng Su, Yueming Yuan, Zhichen Zeng, Banghua Zhu
Resumen de IA
El marco Miles propone el principio Token-In-Token-Out (TITO) para resolver el desajuste entre entrenamiento e inferencia en el aprendizaje por refuerzo de agentes: garantizar que la secuencia de tokens del proceso de rollout coincida bit a bit con la secuencia evaluada por el entrenador. TITO trata una trayectoria multiturno como una secuencia continua (una muestra por tarea), ahorra un orden de magnitud de cómputo y mantiene la propiedad on-policy. Hay tres escenarios que lo rompen: desajuste entre destokenización y retokenización, recorte del contenido de razonamiento por la plantilla de chat y rerenderizado con plantillas con pérdida. Miles lo implementa mediante un servidor de sesiones de inferencia, garantías de solo anexado en tres niveles, un tokenizador TITO conectable y un comparador de secuencias. Las trayectorias de tareas típicas (como SWE-Bench) contienen entre 30 y 50 turnos.
Puntos clave
- El marco Miles propone el principio Token-In-Token-Out (TITO) para resolver el desajuste entre…
- TITO trata una trayectoria multiturno como una secuencia continua (una muestra por tarea),ahorra…
- Hay tres escenarios que lo rompen: desajuste entre destokenización y retokenización,recorte del…
- Miles lo implementa mediante un servidor de sesiones de inferencia,garantías de solo anexado en…
- Las trayectorias de tareas típicas (como SWE-Bench) contienen entre 30 y 50 turnos.
Resumen rápido
- Publicado
- Actualizado
- Fuente
- LMSYS Blog
- Categoría
- Artículos e investigación
- Puntuación IA
- 62
LMSYS团队把agent RL里最隐秘的训练-推理不一致问题解释透了,TITO原则直接告诉你为什么之前训练不稳,做agent训练的都该看看这篇。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: No volver a perder ningún token: análisis de Token-In-Token-Out (TITO) en Miles. 5. junio 2026. https://new.nat6.net/es/news/cmq6w1tl0001jslbh8gv57k90/