Papers & Forschung

Stochastic KV Routing: adaptive Cache-Freigabe entlang der Modelltiefe

Originaltitel:Stochastic KV Routing: Enabling Adaptive Depth-Wise Cache Sharing

KI-Zusammenfassung

Um den hohen Speicherbedarf des KV-Cache bei der Inferenz großer Sprachmodelle zu senken, schlägt die Forschung eine neue Methode zur Optimierung entlang der Modelltiefe vor. Durch stochastisches KV-Routing wird der KV-Cache dynamisch zwischen den Schichten des Transformer-Modells geteilt, statt in jeder Schicht einen vollständigen eigenen Cache vorzuhalten. Experimente zeigen, dass sich der Speicherbedarf des KV-Cache bei nahezu unveränderter Modellqualität um bis zu 50 % reduzieren lässt. Damit bietet die Methode einen neuen Optimierungspfad zur Senkung der Serving-Kosten großer Modelle, der orthogonal zu bestehenden Techniken der zeitlichen Kompression und Eviction ist.

Kernpunkte

  • Um den hohen Speicherbedarf des KV-Cache bei der Inferenz großer Sprachmodelle zu senken,schlägt…
  • Durch stochastisches KV-Routing wird der KV-Cache dynamisch zwischen den Schichten des…
  • Experimente zeigen,dass sich der Speicherbedarf des KV-Cache bei nahezu unveränderter…
  • Damit bietet die Methode einen neuen Optimierungspfad zur Senkung der Serving-Kosten großer…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
Apple Machine Learning Research(RSS)
Kategorie
Papers & Forschung
KI-Bewertung
59
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

苹果这篇不走寻常路,从深度维度压缩KV缓存,是推理服务端降本的新思路,做LLM部署的值得一读。

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Stochastic KV Routing: adaptive Cache-Freigabe entlang der Modelltiefe. 5. Mai 2026. https://new.nat6.net/de/news/cmot2xtld01vvslv77sxlkqqk/

Alle ansehen →