論文・研究

もうトークンを見逃さない:MilesにおけるToken-In-Token-Out(TITO)の解析

原題:Blog No Token Left Behind: Demystifying Token-In-Token-Out in Miles In agentic RL, a rollout is not a single generation. It is a chain of model calls, tool outputs, harness messages, and resumed generations. Token-In-Token-Out (TITO) is a design principle that address... Miles Team: Jiajun Li, Yanbin Jiang, Mao Cheng, Shi Dong, Yusheng Su, Yueming Yuan, Zhichen Zeng, Banghua Zhu

AI 要約

MilesフレームワークはToken-In-Token-Out(TITO)原則を提唱し、エージェント強化学習におけるトレーニングと推論の不一致を解決する。rollout過程のトークン列とトレーナーが評価する列をビット単位で一致させる。TITOはマルチターンの軌跡を1つの連続シーケンス(タスクごとに1サンプル)として扱い、1桁分の計算オーバーヘッドを節約しつつon-policy性を維持する。破壊を招く3つのシナリオは、逆トークン化-再トークン化の不一致、チャットテンプレートによる推論内容のトリミング、損失のあるテンプレートの再レンダリングである。Milesは推論セッションサーバー、3段階の追記専用保証、プラグイン可能なTITOトークナイザとシーケンス比較器で実現する。典型的なタスク(SWE-Benchなど)の軌跡は30〜50ターンを含む。

要点

  • MilesフレームワークはToken-In-Token-Out(TITO)原則を提唱し、エージェント強化学習におけるトレーニングと推論の不一致を解決する。
  • rollout過程のトークン列とトレーナーが評価する列をビット単位で一致させる。
  • TITOはマルチターンの軌跡を1つの連続シーケンス(タスクごとに1サンプル)として扱い、1桁分の計算オーバーヘッドを節約しつつon-policy性を維持する。
  • 破壊を招く3つのシナリオは、逆トークン化-再トークン化の不一致、チャットテンプレートによる推論内容のトリミング、損失のあるテンプレートの再レンダリングである。
  • Milesは推論セッションサーバー、3段階の追記専用保証、プラグイン可能なTITOトークナイザとシーケンス比較器で実現する。

概要

公開日時
更新日時
出典
LMSYS Blog
カテゴリ
論文・研究
AI スコア
62
原文を読む 情報源で全文を読む
おすすめの理由

LMSYS团队把agent RL里最隐秘的训练-推理不一致问题解释透了,TITO原则直接告诉你为什么之前训练不稳,做agent训练的都该看看这篇。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:もうトークンを見逃さない:MilesにおけるToken-In-Token-Out(TITO)の解析。2026年6月5日。https://new.nat6.net/ja/news/cmq6w1tl0001jslbh8gv57k90/

すべて見る →