Papers & Forschung

Baidu BaiGe und Fudan Universität stellen LU-KV-Framework vor, angenommen bei ICML 2026

Originaltitel:顶会入选!百度百舸联合复旦大学刷新KV Cache压缩SOTA

KI-Zusammenfassung

Das Baidu-BaiGe-Team hat mit der Fudan-Universität das Framework Long-horizon Utility KV (LU-KV) entwickelt, das die Budgetzuweisung für KV-Cache auf Head-Ebene als globales kombinatorisches Optimierungsproblem für langfristigen Grenznutzen modelliert. LU-KV schätzt offline die Grenzbeitragskurven der Attention-Heads, kombiniert konvexe Hüllenrelaxierung mit einem grenznutzenbasierten Greedy-Solver und erreicht so bei geringem Aufwand nahezu optimale Budgetkonfigurationen; es lässt sich an verschiedene Kompressionsmethoden wie SnapKV und KeyDiff anpassen. Auf den Benchmarks LongBench und RULER sind die Leistungseinbußen bei 80 % Kompressionsrate gering, während Speicherbedarf und Inferenzlatenz sinken. Das Papier wurde bei ICML 2026 angenommen.

Kernpunkte

  • Das Baidu-BaiGe-Team hat mit der Fudan-Universität das Framework Long-horizon Utility KV (LU-KV)…
  • LU-KV schätzt offline die Grenzbeitragskurven der Attention-Heads,kombiniert konvexe…
  • es lässt sich an verschiedene Kompressionsmethoden wie SnapKV und KeyDiff anpassen.
  • Auf den Benchmarks LongBench und RULER sind die Leistungseinbußen bei 80 % Kompressionsrate…
  • Das Papier wurde bei ICML 2026 angenommen.

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
公众号:百度智能云(文心)
Kategorie
Papers & Forschung
KI-Bewertung
63
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

ICML接收的KV Cache压缩新方法,把缓存预算分配从看当前分数改成全局优化,能显著降低显存占用,做长上下文推理的值得细读。

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Baidu BaiGe und Fudan Universität stellen LU-KV-Framework vor, angenommen bei ICML 2026. 10. Juni 2026. https://new.nat6.net/de/news/cmq7w1nzi028nslepn0azwdsg/

Alle ansehen →