Tidak ada lagi Token yang terlewat: mengurai Token-In-Token-Out (TITO) di Miles
Judul asli:Blog No Token Left Behind: Demystifying Token-In-Token-Out in Miles In agentic RL, a rollout is not a single generation. It is a chain of model calls, tool outputs, harness messages, and resumed generations. Token-In-Token-Out (TITO) is a design principle that address... Miles Team: Jiajun Li, Yanbin Jiang, Mao Cheng, Shi Dong, Yusheng Su, Yueming Yuan, Zhichen Zeng, Banghua Zhu
Ringkasan AI
Kerangka Miles mengusulkan prinsip Token-In-Token-Out (TITO) untuk mengatasi ketidakcocokan pelatihan-inferensi dalam pembelajaran penguatan agen: memastikan urutan token selama proses rollout identik bit-per-bit dengan urutan yang dievaluasi oleh pelatih. TITO memperlakukan lintasan multi-putaran sebagai satu urutan kontinu (satu sampel per tugas), menghemat biaya komputasi sebesar satu orde besaran dan mempertahankan sifat on-policy. Tiga skenario perusakan: ketidakcocokan detokenisasi-retokenisasi, pemangkasan konten penalaran oleh templat chat, dan render ulang templat yang lossy. Miles mengimplementasikannya melalui server sesi inferensi, jaminan append-only tiga tingkat, tokenizer TITO yang dapat dipasang, dan pembanding urutan. Lintasan tugas tipikal (seperti SWE-Bench) mencakup 30-50 putaran.
Poin utama
- Kerangka Miles mengusulkan prinsip Token-In-Token-Out (TITO) untuk mengatasi ketidakcocokan…
- TITO memperlakukan lintasan multi-putaran sebagai satu urutan kontinu (satu sampel per…
- Tiga skenario perusakan: ketidakcocokan detokenisasi-retokenisasi,pemangkasan konten penalaran…
- Miles mengimplementasikannya melalui server sesi inferensi,jaminan append-only tiga…
- Lintasan tugas tipikal (seperti SWE-Bench) mencakup 30-50 putaran.
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- LMSYS Blog
- Kategori
- Makalah & Riset
- Skor AI
- 62
LMSYS团队把agent RL里最隐秘的训练-推理不一致问题解释透了,TITO原则直接告诉你为什么之前训练不稳,做agent训练的都该看看这篇。
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Tidak ada lagi Token yang terlewat: mengurai Token-In-Token-Out (TITO) di Miles. 5 Juni 2026. https://new.nat6.net/id/news/cmq6w1tl0001jslbh8gv57k90/