Xiaohongshu का RedKnot इन्फरेंस इंजन: KV Cache को अटेंशन हेड के अनुसार विभाजित कर लंबे टेक्स्ट में तेजी
मूल शीर्षक:让 KV Cache「按头分家」:小红书 RedKnot 如何重做长文本推理新引擎
AI सारांश
RedKnot KV Cache को अटेंशन हेड आयाम के अनुसार विभाजित करता है और हेड-क्लासिफिकेशन स्पार्सिटी (लोकल हेड 83.4%–96.8%), स्पार्स FFN तथा SegPagedAttention तीन तंत्रों के माध्यम से एल्गोरिदम और स्टोरेज ग्रैन्युलैरिटी को एकीकृत करता है। 8-GPU H800 पर TTFT अधिकतम 1.6–3.54× तेज होता है, प्रति-GPU समवर्तीता 4.7–7.8× बढ़ती है और प्रीफिल FLOPs में 67%–79.5% की कमी आती है। DeepSeek-V4-Flash पर 128K संदर्भ में TTFT गति 5.16× तक पहुँचती है और KV ट्रांसफर में अधिकतम 6.3× की बचत होती है। सटीकता सामान्यतः डेंस F1 के 95% से कम नहीं होती।
मुख्य जानकारी
- RedKnot KV Cache को अटेंशन हेड आयाम के अनुसार विभाजित करता है और हेड-क्लासिफिकेशन स्पार्सिटी (लोकल…
- 8%),स्पार्स FFN तथा SegPagedAttention तीन तंत्रों के माध्यम से एल्गोरिदम और स्टोरेज ग्रैन्युलैरिटी…
- 54× तेज होता है,प्रति-GPU समवर्तीता 4.
- 8× बढ़ती है और प्रीफिल FLOPs में 67%–79.
- 5% की कमी आती है। DeepSeek-V4-Flash पर 128K संदर्भ में TTFT गति 5.
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- 公众号:小红书技术(dots.llm)
- श्रेणी
- उत्पाद और ऐप्स
- AI स्कोर
- 72
小红书把 KV Cache 从 token 级拆成按头分家,这个思路让长文本推理的 TTFT 和并发都有数量级提升,开源出来对做推理引擎的同学是个福音。
संबंधित एंटिटी
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: Xiaohongshu का RedKnot इन्फरेंस इंजन: KV Cache को अटेंशन हेड के अनुसार विभाजित कर लंबे टेक्स्ट में तेजी। 29 जून 2026। https://new.nat6.net/hi/news/cmqz49v7400e4sldyr126zupc/