Stochastic KV Routing: adaptive Cache-Freigabe entlang der Modelltiefe
Originaltitel:Stochastic KV Routing: Enabling Adaptive Depth-Wise Cache Sharing
KI-Zusammenfassung
Um den hohen Speicherbedarf des KV-Cache bei der Inferenz großer Sprachmodelle zu senken, schlägt die Forschung eine neue Methode zur Optimierung entlang der Modelltiefe vor. Durch stochastisches KV-Routing wird der KV-Cache dynamisch zwischen den Schichten des Transformer-Modells geteilt, statt in jeder Schicht einen vollständigen eigenen Cache vorzuhalten. Experimente zeigen, dass sich der Speicherbedarf des KV-Cache bei nahezu unveränderter Modellqualität um bis zu 50 % reduzieren lässt. Damit bietet die Methode einen neuen Optimierungspfad zur Senkung der Serving-Kosten großer Modelle, der orthogonal zu bestehenden Techniken der zeitlichen Kompression und Eviction ist.
Kernpunkte
- Um den hohen Speicherbedarf des KV-Cache bei der Inferenz großer Sprachmodelle zu senken,schlägt…
- Durch stochastisches KV-Routing wird der KV-Cache dynamisch zwischen den Schichten des…
- Experimente zeigen,dass sich der Speicherbedarf des KV-Cache bei nahezu unveränderter…
- Damit bietet die Methode einen neuen Optimierungspfad zur Senkung der Serving-Kosten großer…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Kategorie
- Papers & Forschung
- KI-Bewertung
- 59
苹果这篇不走寻常路,从深度维度压缩KV缓存,是推理服务端降本的新思路,做LLM部署的值得一读。
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Stochastic KV Routing: adaptive Cache-Freigabe entlang der Modelltiefe. 5. Mai 2026. https://new.nat6.net/de/news/cmot2xtld01vvslv77sxlkqqk/