Kertas penyelidikan

Tidak lagi terlepas sebarang Token: menghuraikan Token-In-Token-Out (TITO) dalam Miles

Tajuk asal:Blog No Token Left Behind: Demystifying Token-In-Token-Out in Miles In agentic RL, a rollout is not a single generation. It is a chain of model calls, tool outputs, harness messages, and resumed generations. Token-In-Token-Out (TITO) is a design principle that address... Miles Team: Jiajun Li, Yanbin Jiang, Mao Cheng, Shi Dong, Yusheng Su, Yueming Yuan, Zhichen Zeng, Banghua Zhu

Ringkasan AI

Rangka kerja Miles mengemukakan prinsip Token-In-Token-Out (TITO) untuk menyelesaikan ketidakpadanan latihan-penaakulan dalam pembelajaran pengukuhan ejen: memastikan jujukan token proses rollout selaras sepenuhnya dengan jujukan penilaian pelatih. TITO menganggap trajektori berbilang pusingan sebagai satu jujukan berterusan (satu sampel setiap tugas), menjimatkan kos pengiraan sebanyak satu urutan magnitud dan mengekalkan sifat on-policy. Tiga senario yang merosakkan: ketidakpadanan nyah-tokenisasi dan tokenisasi semula, templat sembang memangkas kandungan penaakulan, dan pemaparan semula templat yang hilang maklumat. Miles melaksanakannya melalui pelayan sesi penaakulan, jaminan tambah sahaja tiga peringkat, tokenizer TITO boleh pasang dan pembanding jujukan. Trajektori tugas biasa (seperti SWE-Bench) mengandungi 30-50 pusingan.

Maklumat penting

  • Rangka kerja Miles mengemukakan prinsip Token-In-Token-Out (TITO) untuk menyelesaikan…
  • TITO menganggap trajektori berbilang pusingan sebagai satu jujukan berterusan (satu sampel setiap…
  • Tiga senario yang merosakkan: ketidakpadanan nyah-tokenisasi dan tokenisasi semula,templat sembang…
  • Miles melaksanakannya melalui pelayan sesi penaakulan,jaminan tambah sahaja tiga…
  • Trajektori tugas biasa (seperti SWE-Bench) mengandungi 30-50 pusingan.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
LMSYS Blog
Kategori
Kertas penyelidikan
Skor AI
62
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

LMSYS团队把agent RL里最隐秘的训练-推理不一致问题解释透了,TITO原则直接告诉你为什么之前训练不稳,做agent训练的都该看看这篇。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Tidak lagi terlepas sebarang Token: menghuraikan Token-In-Token-Out (TITO) dalam Miles. 5 Jun 2026. https://new.nat6.net/ms/news/cmq6w1tl0001jslbh8gv57k90/

Lihat Semua →