Ne plus perdre aucun token : décryptage du Token-In-Token-Out (TITO) dans Miles
Titre original:Blog No Token Left Behind: Demystifying Token-In-Token-Out in Miles In agentic RL, a rollout is not a single generation. It is a chain of model calls, tool outputs, harness messages, and resumed generations. Token-In-Token-Out (TITO) is a design principle that address... Miles Team: Jiajun Li, Yanbin Jiang, Mao Cheng, Shi Dong, Yusheng Su, Yueming Yuan, Zhichen Zeng, Banghua Zhu
Résumé IA
Le framework Miles propose le principe Token-In-Token-Out (TITO) pour résoudre l'inadéquation entraînement-inférence dans l'apprentissage par renforcement des agents : garantir que la séquence de tokens du rollout correspond exactement, token par token, à celle évaluée par l'entraîneur. TITO traite une trajectoire multi-tours comme une séquence continue (un échantillon par tâche), économisant un ordre de grandeur de calcul et préservant le caractère on-policy. Trois scénarios de rupture : inadéquation détokenisation-retokenisation, suppression du contenu de raisonnement par le template de chat, et rendu de template avec perte. Miles les résout via un serveur de session d'inférence, une garantie d'ajout uniquement à trois niveaux, un tokenizer TITO enfichable et un comparateur de séquences. Les trajectoires des tâches typiques (comme SWE-Bench) comptent 30 à 50 tours.
Points clés
- Le framework Miles propose le principe Token-In-Token-Out (TITO) pour résoudre l'inadéquation…
- TITO traite une trajectoire multi-tours comme une séquence continue (un échantillon par…
- Trois scénarios de rupture: inadéquation détokenisation-retokenisation,suppression du contenu de…
- Miles les résout via un serveur de session d'inférence,une garantie d'ajout uniquement à trois…
- Les trajectoires des tâches typiques (comme SWE-Bench) comptent 30 à 50 tours.
En bref
- Publié
- Mis à jour
- Source
- LMSYS Blog
- Catégorie
- Articles et recherche
- Score IA
- 62
LMSYS团队把agent RL里最隐秘的训练-推理不一致问题解释透了,TITO原则直接告诉你为什么之前训练不稳,做agent训练的都该看看这篇。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Ne plus perdre aucun token : décryptage du Token-In-Token-Out (TITO) dans Miles. 5. juin 2026. https://new.nat6.net/fr/news/cmq6w1tl0001jslbh8gv57k90/