论文与研究

不再遗漏任何Token:解析Miles中的Token-In-Token-Out(TITO)

原文标题:Blog No Token Left Behind: Demystifying Token-In-Token-Out in Miles In agentic RL, a rollout is not a single generation. It is a chain of model calls, tool outputs, harness messages, and resumed generations. Token-In-Token-Out (TITO) is a design principle that address... Miles Team: Jiajun Li, Yanbin Jiang, Mao Cheng, Shi Dong, Yusheng Su, Yueming Yuan, Zhichen Zeng, Banghua Zhu

AI 摘要

Miles框架提出Token-In-Token-Out(TITO)原则,解决智能体强化学习中训练-推理不匹配:确保rollout过程token序列与训练器评估序列逐位一致。TITO将多轮轨迹视为一个连续序列(每任务一个样本),节省一个数量级计算开销并维持on-policy性。三种破坏场景:反分词-再分词不匹配、聊天模板修剪推理内容、有损模板重新渲染。Miles通过推理会话服务器、三级只追加保证、可插拔TITO分词器和序列比较器实现。典型任务(如SWE-Bench)轨迹含30-50轮。

关键信息

  • Miles框架提出Token-In-Token-Out(TITO)原则,解决智能体强化学习中训练-推理不匹配:确保rollout过程token序列与训练器评估序列逐位一致。
  • TITO将多轮轨迹视为一个连续序列(每任务一个样本),节省一个数量级计算开销并维持on-policy性。
  • 三种破坏场景:反分词-再分词不匹配、聊天模板修剪推理内容、有损模板重新渲染。
  • Miles通过推理会话服务器、三级只追加保证、可插拔TITO分词器和序列比较器实现。
  • 典型任务(如SWE-Bench)轨迹含30-50轮

速览

发布时间
更新时间
来源
LMSYS Blog
分类
论文与研究
AI 评分
62
阅读原文 前往信息源阅读完整正文
推荐理由

LMSYS团队把agent RL里最隐秘的训练-推理不一致问题解释透了,TITO原则直接告诉你为什么之前训练不稳,做agent训练的都该看看这篇。

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:不再遗漏任何Token:解析Miles中的Token-In-Token-Out(TITO)。2026年6月5日。https://new.nat6.net/news/cmq6w1tl0001jslbh8gv57k90/

查看全部 →
  • Anthropic:让Claude成为化学家

    Anthropic与顶尖化学家合作,提升Claude在化学领域的实用性。首个白皮书测试Claude在NMR谱图分析上的表现:在20个化合物上,对比Claude Opus 4.7、Opus 4.6、Sonnet 4.6与ChemDraw、M…

    Anthropic:Research(发表成果 · 网页)论文与研究AI 评分 65

  • Nemotron 预训练的任务种子合成问答生成

    在 Nemotron-3 Nano 模型的 100B token 续训练实验中,任务种子合成数据生成(Task-Seeded SDG)使 MMLU-Pro 提升 1.8 分,平均代码提升 1.9 分,常识理解提升 1.6 分,GPQA 提…

    Hugging Face 社区博客(混合发现)论文与研究AI 评分 68

  • Google Research 发布被动心率监测系统 PHRM

    Google Research 开发了一种被动心率监测系统(PHRM),利用智能手机前置摄像头在日常使用中(人脸解锁后数秒内)捕捉面部视频,通过深度学习估算心率,平均绝对百分比误差(MAPE)低于10%(对比心电图金标准),满足各肤色人群…

    Google Research:Blog(网页)论文与研究AI 评分 79

  • Arena 发布真实世界 AI 智能体排行榜 Agent Arena

    Arena 推出基于真实用户任务的智能体排行榜,评估模型在代码编写、应用构建、文档分析等工作中的表现,而非孤立基准。排行榜基于30万+任务、200万+工具调用和4000万行代码,综合任务成功、纠正遵从性、错误恢复、用户表扬与抱怨、工具幻觉…

    X:Rohan Paul (@rohanpaul_ai)论文与研究AI 评分 76