Makalah & Riset

Tidak ada lagi Token yang terlewat: mengurai Token-In-Token-Out (TITO) di Miles

Judul asli:Blog No Token Left Behind: Demystifying Token-In-Token-Out in Miles In agentic RL, a rollout is not a single generation. It is a chain of model calls, tool outputs, harness messages, and resumed generations. Token-In-Token-Out (TITO) is a design principle that address... Miles Team: Jiajun Li, Yanbin Jiang, Mao Cheng, Shi Dong, Yusheng Su, Yueming Yuan, Zhichen Zeng, Banghua Zhu

Ringkasan AI

Kerangka Miles mengusulkan prinsip Token-In-Token-Out (TITO) untuk mengatasi ketidakcocokan pelatihan-inferensi dalam pembelajaran penguatan agen: memastikan urutan token selama proses rollout identik bit-per-bit dengan urutan yang dievaluasi oleh pelatih. TITO memperlakukan lintasan multi-putaran sebagai satu urutan kontinu (satu sampel per tugas), menghemat biaya komputasi sebesar satu orde besaran dan mempertahankan sifat on-policy. Tiga skenario perusakan: ketidakcocokan detokenisasi-retokenisasi, pemangkasan konten penalaran oleh templat chat, dan render ulang templat yang lossy. Miles mengimplementasikannya melalui server sesi inferensi, jaminan append-only tiga tingkat, tokenizer TITO yang dapat dipasang, dan pembanding urutan. Lintasan tugas tipikal (seperti SWE-Bench) mencakup 30-50 putaran.

Poin utama

  • Kerangka Miles mengusulkan prinsip Token-In-Token-Out (TITO) untuk mengatasi ketidakcocokan…
  • TITO memperlakukan lintasan multi-putaran sebagai satu urutan kontinu (satu sampel per…
  • Tiga skenario perusakan: ketidakcocokan detokenisasi-retokenisasi,pemangkasan konten penalaran…
  • Miles mengimplementasikannya melalui server sesi inferensi,jaminan append-only tiga…
  • Lintasan tugas tipikal (seperti SWE-Bench) mencakup 30-50 putaran.

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
LMSYS Blog
Kategori
Makalah & Riset
Skor AI
62
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

LMSYS团队把agent RL里最隐秘的训练-推理不一致问题解释透了,TITO原则直接告诉你为什么之前训练不稳,做agent训练的都该看看这篇。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Tidak ada lagi Token yang terlewat: mengurai Token-In-Token-Out (TITO) di Miles. 5 Juni 2026. https://new.nat6.net/id/news/cmq6w1tl0001jslbh8gv57k90/

Lihat semua →