अब कोई Token न छूटे: Miles में Token-In-Token-Out (TITO) का विश्लेषण
मूल शीर्षक:Blog No Token Left Behind: Demystifying Token-In-Token-Out in Miles In agentic RL, a rollout is not a single generation. It is a chain of model calls, tool outputs, harness messages, and resumed generations. Token-In-Token-Out (TITO) is a design principle that address... Miles Team: Jiajun Li, Yanbin Jiang, Mao Cheng, Shi Dong, Yusheng Su, Yueming Yuan, Zhichen Zeng, Banghua Zhu
AI सारांश
Miles फ्रेमवर्क Token-In-Token-Out (TITO) सिद्धांत प्रस्तुत करता है, जो एजेंट रीइन्फोर्समेंट लर्निंग में प्रशिक्षण-अनुमान असंगति को हल करता है: यह सुनिश्चित करता है कि rollout प्रक्रिया की token अनुक्रम और प्रशिक्षक मूल्यांकन अनुक्रम बिट-दर-बिट समान हों। TITO बहु-चरणीय ट्रैजेक्टरी को एक सतत अनुक्रम (प्रति कार्य एक नमूना) मानता है, जिससे परिमाण के क्रम में गणना लागत बचती है और on-policy स्थिति बनी रहती है। तीन विनाशकारी परिदृश्य: डी-टोकनाइज़ेशन-पुनः-टोकनाइज़ेशन असंगति, चैट टेम्पलेट द्वारा तर्क सामग्री की कटाई, हानिकारक टेम्पलेट पुनः-रेंडरिंग। Miles इसे अनुमान सत्र सर्वर, तीन-स्तरीय केवल-जोड़ें गारंटी, प्लग-इन TITO टोकनाइज़र और अनुक्रम तुलनाकर्ता के माध्यम से लागू करता है। विशिष्ट कार्यों (जैसे SWE-Bench) की ट्रैजेक्टरी में 30-50 चरण होते हैं।
मुख्य जानकारी
- Miles फ्रेमवर्क Token-In-Token-Out (TITO) सिद्धांत प्रस्तुत करता है,जो एजेंट रीइन्फोर्समेंट…
- जिससे परिमाण के क्रम में गणना लागत बचती है और on-policy स्थिति बनी रहती है। तीन विनाशकारी…
- चैट टेम्पलेट द्वारा तर्क सामग्री की कटाई,हानिकारक टेम्पलेट पुनः-रेंडरिंग। Miles इसे अनुमान सत्र…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- LMSYS Blog
- श्रेणी
- पेपर और शोध
- AI स्कोर
- 62
LMSYS团队把agent RL里最隐秘的训练-推理不一致问题解释透了,TITO原则直接告诉你为什么之前训练不稳,做agent训练的都该看看这篇。
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: अब कोई Token न छूटे: Miles में Token-In-Token-Out (TITO) का विश्लेषण। 5 जून 2026। https://new.nat6.net/hi/news/cmq6w1tl0001jslbh8gv57k90/