HYPIC: Xiaohongshu ने Peking University और SJTU के साथ मिलकर पहला हाइब्रिड अटेंशन बड़े मॉडल हेतु पोज़िशन-स्वतंत्र कैश सिस्टम पेश किया
मूल शीर्षक:首 token 延迟降 3.25 倍!小红书联合北大、上交提出 HYPIC,让混合注意力大模型用上「位置无关缓存」
AI सारांश
HYPIC ने हाइब्रिड अटेंशन बड़े मॉडल पर पोज़िशन-स्वतंत्र कैश लागू किया है, जिससे पहले टोकन की लेटेंसी औसतन 3.25 गुना कम हुई। 4 प्रोडक्शन-स्तरीय मॉडलों पर, समान SLO के तहत सतत QPS 1.66 गुना बढ़ा, और कार्य गुणवत्ता पूर्ण पुनर्गणना से केवल 1.71 अंक भिन्न रही।
मुख्य जानकारी
- HYPIC ने हाइब्रिड अटेंशन बड़े मॉडल पर पोज़िशन-स्वतंत्र कैश लागू किया है,जिससे पहले टोकन की लेटेंसी…
- 25 गुना कम हुई। 4 प्रोडक्शन-स्तरीय मॉडलों पर,समान SLO के तहत सतत QPS 1.
- 66 गुना बढ़ा,और कार्य गुणवत्ता पूर्ण पुनर्गणना से केवल 1.
- 71 अंक भिन्न रही।
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- 公众号:小红书技术(dots.llm)
- श्रेणी
- पेपर और शोध
- AI स्कोर
- 77
混合注意力模型终于有了可用的位置无关缓存方案,HYPIC 用转移算子缓存和缝合窗口解决了长期兼容难题,对长上下文推理服务的加速意义重大,做推理 infra 的团队可以马上看论文和代码。
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: HYPIC: Xiaohongshu ने Peking University और SJTU के साथ मिलकर पहला हाइब्रिड अटेंशन बड़े मॉडल हेतु पोज़िशन-स्वतंत्र कैश सिस्टम पेश किया। 16 जुलाई 2026। https://new.nat6.net/hi/news/cmrnclu0101cgbic6rpcgkw8s/