पेपर और शोध

Stochastic KV Routing: गहराई की दिशा में अनुकूली कैश साझाकरण को साकार करना

मूल शीर्षक:Stochastic KV Routing: Enabling Adaptive Depth-Wise Cache Sharing

AI सारांश

बड़े भाषा मॉडल के तर्क के दौरान KV कैश की उच्च मेमोरी लागत को कम करने के लिए, शोधकर्ताओं ने मॉडल की गहराई के आयाम में अनुकूलन करने वाली एक नई विधि प्रस्तावित की है। यह विधि स्टोकेस्टिक KV रूटिंग के माध्यम से Transformer मॉडल की परतों के बीच KV कैश को गतिशील रूप से साझा करती है, बजाय हर परत में पूर्ण स्वतंत्र कैश रखने के। प्रयोगों से पता चलता है कि मॉडल की गुणवत्ता को मूल रूप से अपरिवर्तित रखते हुए, यह विधि KV कैश की मेमोरी खपत को 50% तक कम कर सकती है, जो बड़े मॉडल सेवा लागत को कम करने के लिए मौजूदा समय-अक्ष संपीड़न और निष्कासन तकनीकों के पूरक एक नया अनुकूलन मार्ग प्रदान करती है।

मुख्य जानकारी

  • बड़े भाषा मॉडल के तर्क के दौरान KV कैश की उच्च मेमोरी लागत को कम करने के लिए,शोधकर्ताओं ने मॉडल की…
  • बजाय हर परत में पूर्ण स्वतंत्र कैश रखने के। प्रयोगों से पता चलता है कि मॉडल की गुणवत्ता को मूल रूप…
  • यह विधि KV कैश की मेमोरी खपत को 50% तक कम कर सकती है,जो बड़े मॉडल सेवा लागत को कम करने के लिए…

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
Apple Machine Learning Research(RSS)
श्रेणी
पेपर और शोध
AI स्कोर
59
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

苹果这篇不走寻常路,从深度维度压缩KV缓存,是推理服务端降本的新思路,做LLM部署的值得一读。

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: Stochastic KV Routing: गहराई की दिशा में अनुकूली कैश साझाकरण को साकार करना। 5 मई 2026। https://new.nat6.net/hi/news/cmot2xtld01vvslv77sxlkqqk/

सभी देखें →