Xiaohongshu ने बड़ा भाषा मॉडल के लिए नई PIPO आर्किटेक्चर लॉन्च की
मूल शीर्षक:小红书发布大模型新架构 PIPO ,让模型一次「吞两个、吐两个」
AI सारांश
Xiaohongshu ने PIPO आर्किटेक्चर पेश की है, जो इनपुट-साइड कंप्रेसर का उपयोग करके दो टोकन को एक लेटेंट में बदल देती है और आउटपुट-साइड MTP हेड छिपी हुई स्थिति को अतिरिक्त टोकन में विस्तारित करता है, जिससे इनपुट की लंबाई आधी हो जाती है और आउटपुट की गति दोगुनी हो जाती है। Qwen3.5-4B/9B बैकबोन पर आधारित, इसने AIME 2025 जैसे बेंचमार्क पर +7.15 pass@4 की बढ़त हासिल की। डिप्लॉयमेंट टेस्ट में, TTFT लगभग 1.23× और TPOT 1.86× तेज़ हो गए। प्रशिक्षण में SFT और On-Policy Distillation का दो-चरणीय उपयोग किया गया, जिससे वेरिफ़ायर की क्षमता को एक हल्के कॉन्फिडेंस हेड में डिस्टिल किया गया।
मुख्य जानकारी
- Xiaohongshu ने PIPO आर्किटेक्चर पेश की है,जो इनपुट-साइड कंप्रेसर का उपयोग करके दो टोकन को एक…
- 5-4B/9B बैकबोन पर आधारित,इसने AIME 2025 जैसे बेंचमार्क पर +7.
- 15 pass@4 की बढ़त हासिल की। डिप्लॉयमेंट टेस्ट में,TTFT लगभग 1.
- 23× और TPOT 1.
- 86× तेज़ हो गए। प्रशिक्षण में SFT और On-Policy Distillation का दो-चरणीय उपयोग किया गया,जिससे…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- 公众号:小红书技术(dots.llm)
- श्रेणी
- पेपर और शोध
- AI स्कोर
- 70
PIPO把输入压缩和输出多token预测统一起来,并且用蒸馏把验证成本前置,长推理的场景下这可能是下一代推理引擎的样子,做模型加速的应该认真看看。
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: Xiaohongshu ने बड़ा भाषा मॉडल के लिए नई PIPO आर्किटेक्चर लॉन्च की। 10 जुलाई 2026। https://new.nat6.net/hi/news/cmrerlfrs0046ihm87smc2el4/