논문 및 연구

더 이상 토큰을 놓치지 않기: Miles의 Token-In-Token-Out(TITO) 분석

원제목:Blog No Token Left Behind: Demystifying Token-In-Token-Out in Miles In agentic RL, a rollout is not a single generation. It is a chain of model calls, tool outputs, harness messages, and resumed generations. Token-In-Token-Out (TITO) is a design principle that address... Miles Team: Jiajun Li, Yanbin Jiang, Mao Cheng, Shi Dong, Yusheng Su, Yueming Yuan, Zhichen Zeng, Banghua Zhu

AI 요약

Miles 프레임워크는 에이전트 강화학습의 훈련-추론 불일치를 해결하는 Token-In-Token-Out(TITO) 원칙을 제시한다. rollout 과정의 토큰 시퀀스가 트레이너 평가 시퀀스와 비트 단위로 일치하도록 보장한다. TITO는 다중 턴 궤적을 하나의 연속 시퀀스(작업당 하나의 샘플)로 취급해 한 자릿수 수준의 계산 오버헤드를 절감하고 on-policy성을 유지한다. 세 가지 파괴 시나리오는 역토큰화-재토큰화 불일치, 채팅 템플릿의 추론 내용 잘라내기, 손실성 템플릿 재렌더링이다. Miles는 추론 세션 서버, 3단계 추가 전용 보장, 플러그형 TITO 토크나이저와 시퀀스 비교기로 이를 구현한다. 대표 작업(예: SWE-Bench) 궤적은 30-50턴을 포함한다.

핵심 정보

  • Miles 프레임워크는 에이전트 강화학습의 훈련-추론 불일치를 해결하는 Token-In-Token-Out(TITO) 원칙을 제시한다.
  • rollout 과정의 토큰 시퀀스가 트레이너 평가 시퀀스와 비트 단위로 일치하도록 보장한다.
  • TITO는 다중 턴 궤적을 하나의 연속 시퀀스(작업당 하나의 샘플)로 취급해 한 자릿수 수준의 계산 오버헤드를 절감하고 on-policy성을 유지한다.
  • 세 가지 파괴 시나리오는 역토큰화-재토큰화 불일치,채팅 템플릿의 추론 내용 잘라내기,손실성 템플릿 재렌더링이다.
  • Miles는 추론 세션 서버,3단계 추가 전용 보장,플러그형 TITO 토크나이저와 시퀀스 비교기로 이를 구현한다.

한눈에 보기

게시
업데이트
출처
LMSYS Blog
카테고리
논문 및 연구
AI 점수
62
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

LMSYS团队把agent RL里最隐秘的训练-推理不一致问题解释透了,TITO原则直接告诉你为什么之前训练不稳,做agent训练的都该看看这篇。

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: 더 이상 토큰을 놓치지 않기: Miles의 Token-In-Token-Out(TITO) 분석. 2026년 6월 5일. https://new.nat6.net/ko/news/cmq6w1tl0001jslbh8gv57k90/

전체 보기 →