Makalah & Riset

Baidu Baiqe bersama Fudan mengusulkan kerangka LU-KV, diterima di ICML 2026

Judul asli:顶会入选!百度百舸联合复旦大学刷新KV Cache压缩SOTA

Ringkasan AI

Tim Baidu Baiqe bekerja sama dengan Universitas Fudan mengusulkan kerangka Long-horizon Utility KV (LU-KV), yang memodelkan alokasi anggaran KV Cache tingkat kepala sebagai masalah optimasi kombinatorial global untuk utilitas marginal jangka panjang. LU-KV memperkirakan kurva kontribusi marginal kepala atensi melalui profil offline, dikombinasikan dengan relaksasi convex hull dan solver greedy berbasis utilitas marginal, menghasilkan konfigurasi anggaran mendekati optimal dengan biaya rendah, dan dapat diadaptasi ke berbagai metode kompresi seperti SnapKV dan KeyDiff. Pada benchmark LongBench dan RULER, pada rasio kompresi 80% penurunan performa kecil, serta mengurangi penggunaan memori GPU dan latensi inferensi. Makalah terkait diterima di ICML 2026.

Poin utama

  • Tim Baidu Baiqe bekerja sama dengan Universitas Fudan mengusulkan kerangka Long-horizon Utility KV…
  • LU-KV memperkirakan kurva kontribusi marginal kepala atensi melalui profil offline,dikombinasikan…
  • Pada benchmark LongBench dan RULER,pada rasio kompresi 80% penurunan performa kecil,serta…
  • Makalah terkait diterima di ICML 2026.

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
公众号:百度智能云(文心)
Kategori
Makalah & Riset
Skor AI
63
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

ICML接收的KV Cache压缩新方法,把缓存预算分配从看当前分数改成全局优化,能显著降低显存占用,做长上下文推理的值得细读。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Baidu Baiqe bersama Fudan mengusulkan kerangka LU-KV, diterima di ICML 2026. 10 Juni 2026. https://new.nat6.net/id/news/cmq7w1nzi028nslepn0azwdsg/

Lihat semua →