Baidu BaiGe und Fudan Universität stellen LU-KV-Framework vor, angenommen bei ICML 2026
Originaltitel:顶会入选!百度百舸联合复旦大学刷新KV Cache压缩SOTA
KI-Zusammenfassung
Das Baidu-BaiGe-Team hat mit der Fudan-Universität das Framework Long-horizon Utility KV (LU-KV) entwickelt, das die Budgetzuweisung für KV-Cache auf Head-Ebene als globales kombinatorisches Optimierungsproblem für langfristigen Grenznutzen modelliert. LU-KV schätzt offline die Grenzbeitragskurven der Attention-Heads, kombiniert konvexe Hüllenrelaxierung mit einem grenznutzenbasierten Greedy-Solver und erreicht so bei geringem Aufwand nahezu optimale Budgetkonfigurationen; es lässt sich an verschiedene Kompressionsmethoden wie SnapKV und KeyDiff anpassen. Auf den Benchmarks LongBench und RULER sind die Leistungseinbußen bei 80 % Kompressionsrate gering, während Speicherbedarf und Inferenzlatenz sinken. Das Papier wurde bei ICML 2026 angenommen.
Kernpunkte
- Das Baidu-BaiGe-Team hat mit der Fudan-Universität das Framework Long-horizon Utility KV (LU-KV)…
- LU-KV schätzt offline die Grenzbeitragskurven der Attention-Heads,kombiniert konvexe…
- es lässt sich an verschiedene Kompressionsmethoden wie SnapKV und KeyDiff anpassen.
- Auf den Benchmarks LongBench und RULER sind die Leistungseinbußen bei 80 % Kompressionsrate…
- Das Papier wurde bei ICML 2026 angenommen.
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- 公众号:百度智能云(文心)
- Kategorie
- Papers & Forschung
- KI-Bewertung
- 63
ICML接收的KV Cache压缩新方法,把缓存预算分配从看当前分数改成全局优化,能显著降低显存占用,做长上下文推理的值得细读。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Baidu BaiGe und Fudan Universität stellen LU-KV-Framework vor, angenommen bei ICML 2026. 10. Juni 2026. https://new.nat6.net/de/news/cmq7w1nzi028nslepn0azwdsg/