Papers & Forschung

Kein Token mehr verpassen: Token-In-Token-Out (TITO) in Miles erklärt

Originaltitel:Blog No Token Left Behind: Demystifying Token-In-Token-Out in Miles In agentic RL, a rollout is not a single generation. It is a chain of model calls, tool outputs, harness messages, and resumed generations. Token-In-Token-Out (TITO) is a design principle that address... Miles Team: Jiajun Li, Yanbin Jiang, Mao Cheng, Shi Dong, Yusheng Su, Yueming Yuan, Zhichen Zeng, Banghua Zhu

KI-Zusammenfassung

Das Miles-Framework führt das Prinzip Token-In-Token-Out (TITO) ein, um die Trainings-Inferenz-Diskrepanz im Reinforcement Learning von Agenten zu beheben: Die Token-Sequenz im Rollout-Prozess muss bitgenau mit der vom Trainer bewerteten Sequenz übereinstimmen. TITO behandelt mehrstufige Trajektorien als eine kontinuierliche Sequenz (ein Sample pro Aufgabe), spart dadurch eine Größenordnung an Rechenaufwand und erhält die On-Policy-Eigenschaft. Drei Störungsszenarien: Detokenisierungs-Retokenisierungs-Diskrepanz, Chat-Template-Trimmen von Reasoning-Inhalten und verlustbehaftetes Template-Rerendering. Miles setzt dies über einen Inferenz-Session-Server, dreistufige Append-Only-Garantien, austauschbare TITO-Tokenizer und Sequenzvergleicher um. Typische Aufgaben (wie SWE-Bench) umfassen 30–50 Runden pro Trajektorie.

Kernpunkte

  • Das Miles-Framework führt das Prinzip Token-In-Token-Out (TITO) ein,um die…
  • TITO behandelt mehrstufige Trajektorien als eine kontinuierliche Sequenz (ein Sample pro…
  • Drei Störungsszenarien: Detokenisierungs-Retokenisierungs-Diskrepanz,Chat-Template-Trimmen von…
  • Miles setzt dies über einen Inferenz-Session-Server,dreistufige…
  • Typische Aufgaben (wie SWE-Bench) umfassen 30–50 Runden pro Trajektorie.

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
LMSYS Blog
Kategorie
Papers & Forschung
KI-Bewertung
62
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

LMSYS团队把agent RL里最隐秘的训练-推理不一致问题解释透了,TITO原则直接告诉你为什么之前训练不稳,做agent训练的都该看看这篇。

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Kein Token mehr verpassen: Token-In-Token-Out (TITO) in Miles erklärt. 5. Juni 2026. https://new.nat6.net/de/news/cmq6w1tl0001jslbh8gv57k90/

Alle ansehen →