もうトークンを見逃さない:MilesにおけるToken-In-Token-Out(TITO)の解析
原題:Blog No Token Left Behind: Demystifying Token-In-Token-Out in Miles In agentic RL, a rollout is not a single generation. It is a chain of model calls, tool outputs, harness messages, and resumed generations. Token-In-Token-Out (TITO) is a design principle that address... Miles Team: Jiajun Li, Yanbin Jiang, Mao Cheng, Shi Dong, Yusheng Su, Yueming Yuan, Zhichen Zeng, Banghua Zhu
AI 要約
MilesフレームワークはToken-In-Token-Out(TITO)原則を提唱し、エージェント強化学習におけるトレーニングと推論の不一致を解決する。rollout過程のトークン列とトレーナーが評価する列をビット単位で一致させる。TITOはマルチターンの軌跡を1つの連続シーケンス(タスクごとに1サンプル)として扱い、1桁分の計算オーバーヘッドを節約しつつon-policy性を維持する。破壊を招く3つのシナリオは、逆トークン化-再トークン化の不一致、チャットテンプレートによる推論内容のトリミング、損失のあるテンプレートの再レンダリングである。Milesは推論セッションサーバー、3段階の追記専用保証、プラグイン可能なTITOトークナイザとシーケンス比較器で実現する。典型的なタスク(SWE-Benchなど)の軌跡は30〜50ターンを含む。
要点
- MilesフレームワークはToken-In-Token-Out(TITO)原則を提唱し、エージェント強化学習におけるトレーニングと推論の不一致を解決する。
- rollout過程のトークン列とトレーナーが評価する列をビット単位で一致させる。
- TITOはマルチターンの軌跡を1つの連続シーケンス(タスクごとに1サンプル)として扱い、1桁分の計算オーバーヘッドを節約しつつon-policy性を維持する。
- 破壊を招く3つのシナリオは、逆トークン化-再トークン化の不一致、チャットテンプレートによる推論内容のトリミング、損失のあるテンプレートの再レンダリングである。
- Milesは推論セッションサーバー、3段階の追記専用保証、プラグイン可能なTITOトークナイザとシーケンス比較器で実現する。
概要
- 公開日時
- 更新日時
- 出典
- LMSYS Blog
- カテゴリ
- 論文・研究
- AI スコア
- 62
LMSYS团队把agent RL里最隐秘的训练-推理不一致问题解释透了,TITO原则直接告诉你为什么之前训练不稳,做agent训练的都该看看这篇。
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:もうトークンを見逃さない:MilesにおけるToken-In-Token-Out(TITO)の解析。2026年6月5日。https://new.nat6.net/ja/news/cmq6w1tl0001jslbh8gv57k90/