Không bỏ sót token nào: phân tích Token-In-Token-Out (TITO) trong Miles
Tiêu đề gốc:Blog No Token Left Behind: Demystifying Token-In-Token-Out in Miles In agentic RL, a rollout is not a single generation. It is a chain of model calls, tool outputs, harness messages, and resumed generations. Token-In-Token-Out (TITO) is a design principle that address... Miles Team: Jiajun Li, Yanbin Jiang, Mao Cheng, Shi Dong, Yusheng Su, Yueming Yuan, Zhichen Zeng, Banghua Zhu
Tóm tắt AI
Khung Miles đề xuất nguyên tắc Token-In-Token-Out (TITO), giải quyết sự không khớp giữa huấn luyện và suy luận trong học tăng cường tác nhân: đảm bảo chuỗi token trong quá trình rollout khớp từng bit với chuỗi mà bộ huấn luyện đánh giá. TITO coi quỹ đạo nhiều lượt là một chuỗi liên tục (một mẫu mỗi tác vụ), tiết kiệm một bậc độ phức tạp tính toán và duy trì tính on-policy. Ba kịch bản phá vỡ: không khớp giữa giải mã hóa và mã hóa lại, mẫu chat cắt bỏ nội dung suy luận, kết xuất lại mẫu có mất mát. Miles triển khai thông qua máy chủ phiên suy luận, bảo đảm chỉ ghi thêm ba cấp, tokenizer TITO có thể cắm và bộ so sánh chuỗi. Quỹ đạo của tác vụ điển hình (như SWE-Bench) gồm 30-50 lượt.
Thông tin chính
- Khung Miles đề xuất nguyên tắc Token-In-Token-Out (TITO),giải quyết sự không khớp giữa huấn luyện…
- TITO coi quỹ đạo nhiều lượt là một chuỗi liên tục (một mẫu mỗi tác vụ),tiết kiệm một bậc độ phức…
- Ba kịch bản phá vỡ: không khớp giữa giải mã hóa và mã hóa lại,mẫu chat cắt bỏ nội dung suy…
- Miles triển khai thông qua máy chủ phiên suy luận,bảo đảm chỉ ghi thêm ba cấp,tokenizer TITO có…
- Quỹ đạo của tác vụ điển hình (như SWE-Bench) gồm 30-50 lượt.
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- LMSYS Blog
- Danh mục
- Bài báo & nghiên cứu
- Điểm AI
- 62
LMSYS团队把agent RL里最隐秘的训练-推理不一致问题解释透了,TITO原则直接告诉你为什么之前训练不稳,做agent训练的都该看看这篇。
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: Không bỏ sót token nào: phân tích Token-In-Token-Out (TITO) trong Miles. 5 tháng 6 2026. https://new.nat6.net/vi/news/cmq6w1tl0001jslbh8gv57k90/