पेपर और शोध

Xiaohongshu ने बड़ा भाषा मॉडल के लिए नई PIPO आर्किटेक्चर लॉन्च की

मूल शीर्षक:小红书发布大模型新架构 PIPO ,让模型一次「吞两个、吐两个」

AI सारांश

Xiaohongshu ने PIPO आर्किटेक्चर पेश की है, जो इनपुट-साइड कंप्रेसर का उपयोग करके दो टोकन को एक लेटेंट में बदल देती है और आउटपुट-साइड MTP हेड छिपी हुई स्थिति को अतिरिक्त टोकन में विस्तारित करता है, जिससे इनपुट की लंबाई आधी हो जाती है और आउटपुट की गति दोगुनी हो जाती है। Qwen3.5-4B/9B बैकबोन पर आधारित, इसने AIME 2025 जैसे बेंचमार्क पर +7.15 pass@4 की बढ़त हासिल की। डिप्लॉयमेंट टेस्ट में, TTFT लगभग 1.23× और TPOT 1.86× तेज़ हो गए। प्रशिक्षण में SFT और On-Policy Distillation का दो-चरणीय उपयोग किया गया, जिससे वेरिफ़ायर की क्षमता को एक हल्के कॉन्फिडेंस हेड में डिस्टिल किया गया।

मुख्य जानकारी

  • Xiaohongshu ने PIPO आर्किटेक्चर पेश की है,जो इनपुट-साइड कंप्रेसर का उपयोग करके दो टोकन को एक…
  • 5-4B/9B बैकबोन पर आधारित,इसने AIME 2025 जैसे बेंचमार्क पर +7.
  • 15 pass@4 की बढ़त हासिल की। डिप्लॉयमेंट टेस्ट में,TTFT लगभग 1.
  • 23× और TPOT 1.
  • 86× तेज़ हो गए। प्रशिक्षण में SFT और On-Policy Distillation का दो-चरणीय उपयोग किया गया,जिससे…

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
公众号:小红书技术(dots.llm)
श्रेणी
पेपर और शोध
AI स्कोर
70
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

PIPO把输入压缩和输出多token预测统一起来,并且用蒸馏把验证成本前置,长推理的场景下这可能是下一代推理引擎的样子,做模型加速的应该认真看看。

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: Xiaohongshu ने बड़ा भाषा मॉडल के लिए नई PIPO आर्किटेक्चर लॉन्च की। 10 जुलाई 2026। https://new.nat6.net/hi/news/cmrerlfrs0046ihm87smc2el4/

सभी देखें →