Huwag nang makaligtaan ang anumang Token: pagsusuri sa Token-In-Token-Out (TITO) sa Miles
Orihinal na pamagat:Blog No Token Left Behind: Demystifying Token-In-Token-Out in Miles In agentic RL, a rollout is not a single generation. It is a chain of model calls, tool outputs, harness messages, and resumed generations. Token-In-Token-Out (TITO) is a design principle that address... Miles Team: Jiajun Li, Yanbin Jiang, Mao Cheng, Shi Dong, Yusheng Su, Yueming Yuan, Zhichen Zeng, Banghua Zhu
AI summary
Iminumungkahi ng Miles framework ang Token-In-Token-Out (TITO) na prinsipyo upang malutas ang mismatch sa pagitan ng pagsasanay at inference sa agent reinforcement learning: tinitiyak na ang token sequence sa rollout ay eksaktong tumutugma sa sequence na sinusuri ng trainer. Itinuturing ng TITO ang multi-turn trajectory bilang isang tuloy-tuloy na sequence (isang sample bawat task), na nakakatipid ng isang order of magnitude sa compute overhead at nagpapanatili ng on-policy na katangian. Tatlong senaryo ng pagkasira: mismatch sa detokenization-retokenization, pagputol ng chat template sa reasoning content, at lossy na muling pag-render ng template. Ipinapatupad ito ng Miles sa pamamagitan ng inference session server, three-level append-only guarantee, pluggable TITO tokenizer, at sequence comparator. Ang karaniwang task (tulad ng SWE-Bench) ay may 30-50 turn na trajectory.
Mahahalagang impormasyon
- Iminumungkahi ng Miles framework ang Token-In-Token-Out (TITO) na prinsipyo upang malutas ang…
- Itinuturing ng TITO ang multi-turn trajectory bilang isang tuloy-tuloy na sequence (isang sample…
- Tatlong senaryo ng pagkasira: mismatch sa detokenization-retokenization,pagputol ng chat template…
- Ipinapatupad ito ng Miles sa pamamagitan ng inference session server,three-level append-only…
- Ang karaniwang task (tulad ng SWE-Bench) ay may 30-50 turn na trajectory.
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- LMSYS Blog
- Kategorya
- Mga Papel at Pananaliksik
- AI na marka
- 62
LMSYS团队把agent RL里最隐秘的训练-推理不一致问题解释透了,TITO原则直接告诉你为什么之前训练不稳,做agent训练的都该看看这篇。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Huwag nang makaligtaan ang anumang Token: pagsusuri sa Token-In-Token-Out (TITO) sa Miles. 5 Hunyo 2026. https://new.nat6.net/fil/news/cmq6w1tl0001jslbh8gv57k90/