ไม่พลาดโทเคนอีกต่อไป: เจาะลึก Token-In-Token-Out (TITO) ใน Miles
หัวข้อต้นฉบับ:Blog No Token Left Behind: Demystifying Token-In-Token-Out in Miles In agentic RL, a rollout is not a single generation. It is a chain of model calls, tool outputs, harness messages, and resumed generations. Token-In-Token-Out (TITO) is a design principle that address... Miles Team: Jiajun Li, Yanbin Jiang, Mao Cheng, Shi Dong, Yusheng Su, Yueming Yuan, Zhichen Zeng, Banghua Zhu
สรุปโดย AI
เฟรมเวิร์ก Miles เสนอหลักการ Token-In-Token-Out (TITO) เพื่อแก้ปัญหาความไม่สอดคล้องระหว่างการฝึกอบรมและการอนุมานในการเรียนรู้แบบเสริมกำลังของเอเจนต์ โดยรับประกันว่าลำดับโทเคนในกระบวนการ rollout ตรงกันทุกตำแหน่งกับลำดับที่ผู้ฝึกอบรมประเมิน TITO มองเส้นทางหลายรอบเป็นลำดับต่อเนื่องเดียว (หนึ่งตัวอย่างต่อหนึ่งงาน) ช่วยประหยัดต้นทุนการคำนวณได้หนึ่งลำดับขนาดและรักษาคุณสมบัติ on-policy มีสามสถานการณ์ที่ทำลายความสอดคล้อง: ความไม่ตรงกันจากการแยกโทเคนแล้วรวมใหม่ การตัดเนื้อหาการอนุมานด้วยเทมเพลตแชต และการเรนเดอร์ใหม่ด้วยเทมเพลตที่สูญเสียข้อมูล Miles บรรลุสิ่งนี้ผ่านเซิร์ฟเวอร์เซสชันการอนุมาน การรับประกันแบบเพิ่มต่อท้ายสามระดับ ตัวแยกโทเคน TITO แบบเสียบได้ และตัวเปรียบเทียบลำดับ งานทั่วไป (เช่น SWE-Bench) มีเส้นทาง 30-50 รอบ
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- LMSYS Blog
- หมวดหมู่
- บทความและงานวิจัย
- คะแนน AI
- 62
LMSYS团队把agent RL里最隐秘的训练-推理不一致问题解释透了,TITO原则直接告诉你为什么之前训练不稳,做agent训练的都该看看这篇。
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: ไม่พลาดโทเคนอีกต่อไป: เจาะลึก Token-In-Token-Out (TITO) ใน Miles 5 มิถุนายน 2026 https://new.nat6.net/th/news/cmq6w1tl0001jslbh8gv57k90/