Mga Papel at Pananaliksik

Huwag nang makaligtaan ang anumang Token: pagsusuri sa Token-In-Token-Out (TITO) sa Miles

Orihinal na pamagat:Blog No Token Left Behind: Demystifying Token-In-Token-Out in Miles In agentic RL, a rollout is not a single generation. It is a chain of model calls, tool outputs, harness messages, and resumed generations. Token-In-Token-Out (TITO) is a design principle that address... Miles Team: Jiajun Li, Yanbin Jiang, Mao Cheng, Shi Dong, Yusheng Su, Yueming Yuan, Zhichen Zeng, Banghua Zhu

AI summary

Iminumungkahi ng Miles framework ang Token-In-Token-Out (TITO) na prinsipyo upang malutas ang mismatch sa pagitan ng pagsasanay at inference sa agent reinforcement learning: tinitiyak na ang token sequence sa rollout ay eksaktong tumutugma sa sequence na sinusuri ng trainer. Itinuturing ng TITO ang multi-turn trajectory bilang isang tuloy-tuloy na sequence (isang sample bawat task), na nakakatipid ng isang order of magnitude sa compute overhead at nagpapanatili ng on-policy na katangian. Tatlong senaryo ng pagkasira: mismatch sa detokenization-retokenization, pagputol ng chat template sa reasoning content, at lossy na muling pag-render ng template. Ipinapatupad ito ng Miles sa pamamagitan ng inference session server, three-level append-only guarantee, pluggable TITO tokenizer, at sequence comparator. Ang karaniwang task (tulad ng SWE-Bench) ay may 30-50 turn na trajectory.

Mahahalagang impormasyon

  • Iminumungkahi ng Miles framework ang Token-In-Token-Out (TITO) na prinsipyo upang malutas ang…
  • Itinuturing ng TITO ang multi-turn trajectory bilang isang tuloy-tuloy na sequence (isang sample…
  • Tatlong senaryo ng pagkasira: mismatch sa detokenization-retokenization,pagputol ng chat template…
  • Ipinapatupad ito ng Miles sa pamamagitan ng inference session server,three-level append-only…
  • Ang karaniwang task (tulad ng SWE-Bench) ay may 30-50 turn na trajectory.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
LMSYS Blog
Kategorya
Mga Papel at Pananaliksik
AI na marka
62
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

LMSYS团队把agent RL里最隐秘的训练-推理不一致问题解释透了,TITO原则直接告诉你为什么之前训练不稳,做agent训练的都该看看这篇。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Huwag nang makaligtaan ang anumang Token: pagsusuri sa Token-In-Token-Out (TITO) sa Miles. 5 Hunyo 2026. https://new.nat6.net/fil/news/cmq6w1tl0001jslbh8gv57k90/

Tingnan lahat →