Tidak lagi terlepas sebarang Token: menghuraikan Token-In-Token-Out (TITO) dalam Miles
Tajuk asal:Blog No Token Left Behind: Demystifying Token-In-Token-Out in Miles In agentic RL, a rollout is not a single generation. It is a chain of model calls, tool outputs, harness messages, and resumed generations. Token-In-Token-Out (TITO) is a design principle that address... Miles Team: Jiajun Li, Yanbin Jiang, Mao Cheng, Shi Dong, Yusheng Su, Yueming Yuan, Zhichen Zeng, Banghua Zhu
Ringkasan AI
Rangka kerja Miles mengemukakan prinsip Token-In-Token-Out (TITO) untuk menyelesaikan ketidakpadanan latihan-penaakulan dalam pembelajaran pengukuhan ejen: memastikan jujukan token proses rollout selaras sepenuhnya dengan jujukan penilaian pelatih. TITO menganggap trajektori berbilang pusingan sebagai satu jujukan berterusan (satu sampel setiap tugas), menjimatkan kos pengiraan sebanyak satu urutan magnitud dan mengekalkan sifat on-policy. Tiga senario yang merosakkan: ketidakpadanan nyah-tokenisasi dan tokenisasi semula, templat sembang memangkas kandungan penaakulan, dan pemaparan semula templat yang hilang maklumat. Miles melaksanakannya melalui pelayan sesi penaakulan, jaminan tambah sahaja tiga peringkat, tokenizer TITO boleh pasang dan pembanding jujukan. Trajektori tugas biasa (seperti SWE-Bench) mengandungi 30-50 pusingan.
Maklumat penting
- Rangka kerja Miles mengemukakan prinsip Token-In-Token-Out (TITO) untuk menyelesaikan…
- TITO menganggap trajektori berbilang pusingan sebagai satu jujukan berterusan (satu sampel setiap…
- Tiga senario yang merosakkan: ketidakpadanan nyah-tokenisasi dan tokenisasi semula,templat sembang…
- Miles melaksanakannya melalui pelayan sesi penaakulan,jaminan tambah sahaja tiga…
- Trajektori tugas biasa (seperti SWE-Bench) mengandungi 30-50 pusingan.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- LMSYS Blog
- Kategori
- Kertas penyelidikan
- Skor AI
- 62
LMSYS团队把agent RL里最隐秘的训练-推理不一致问题解释透了,TITO原则直接告诉你为什么之前训练不稳,做agent训练的都该看看这篇。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Tidak lagi terlepas sebarang Token: menghuraikan Token-In-Token-Out (TITO) dalam Miles. 5 Jun 2026. https://new.nat6.net/ms/news/cmq6w1tl0001jslbh8gv57k90/