Xiaohongshu, Peking University और SJTU ने पेश किया HYPIC, हाइब्रिड अटेंशन बड़े मॉडल के लिए पोज़िशन-इंडिपेंडेंट कैशिंग सक्षम, पहला टोकन लेटेंसी 3.25 गुना घटी
मूल शीर्षक:首 token 延迟降 3.25 倍!小红书联合北大、上交提出 HYPIC,让混合注意力大模型用上「位置无关缓存」
AI सारांश
Xiaohongshu ने Peking University और Shanghai Jiao Tong University के साथ मिलकर HYPIC पेश किया है, जो हाइब्रिड अटेंशन बड़े मॉडल पर पोज़िशन-इंडिपेंडेंट कैशिंग लागू करने वाला पहला सर्विंग सिस्टम है। 4 प्रोडक्शन-ग्रेड हाइब्रिड अटेंशन मॉडल और 5 वर्कलोड पर, HYPIC ने पहले टोकन लेटेंसी (TTFT) को औसतन 3.25 गुना कम किया, समान SLO के तहत सस्टेनेबल QPS को 1.66 गुना बढ़ाया, और टास्क क्वालिटी पूर्ण पुनर्गणना से केवल 1.71 अंक भिन्न रही। यह सिस्टम लीनियर लेयर के कांस्टेंट-टाइम स्टेट कॉम्बिनेशन और फुल अटेंशन लेयर के क्रॉस-सेगमेंट अलाइनमेंट को ठीक करने के लिए स्टिचिंग विंडो का उपयोग करता है।
मुख्य जानकारी
- Xiaohongshu ने Peking University और Shanghai Jiao Tong University के साथ मिलकर HYPIC पेश किया…
- 25 गुना कम किया,समान SLO के तहत सस्टेनेबल QPS को 1.
- 66 गुना बढ़ाया,और टास्क क्वालिटी पूर्ण पुनर्गणना से केवल 1.
- 71 अंक भिन्न रही। यह सिस्टम लीनियर लेयर के कांस्टेंट-टाइम स्टेट कॉम्बिनेशन और फुल अटेंशन लेयर के…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- 公众号:小红书技术(dots.llm)
- श्रेणी
- पेपर और शोध
- AI स्कोर
- 75
此前位置无关缓存无法用于混合注意力模型,HYPIC 通过缓存转移算子与缝合窗口首次实现,RAG 场景 TTFT 降低 3.25 倍,开源代码为推理系统提供了可复用的加速路径。
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: Xiaohongshu, Peking University और SJTU ने पेश किया HYPIC, हाइब्रिड अटेंशन बड़े मॉडल के लिए पोज़िशन-इंडिपेंडेंट कैशिंग सक्षम, पहला टोकन लेटेंसी 3.25 गुना घटी। 16 जुलाई 2026। https://new.nat6.net/hi/news/cmsdu108a00ufrofz01bxk6m3/