Meituan LongCat Open Source VitaBench 2.0: Tolok Ukur Baru untuk Benchmark Agen Dinamis Jangka Panjang
Ringkasan AI
Tim LongCat Meituan meluncurkan VitaBench 2.0, benchmark evaluasi agen pertama untuk pemodelan pengguna dinamis jangka panjang dalam skenario kehidupan nyata. Mencakup 56 pengguna simulasi, 819 tugas kompleks, lebih dari 2000 preferensi dinamis, dan 66 alat yang dapat dieksekusi, dengan rata-rata 2093 event interaksi per pengguna dan rentang waktu rata-rata 1580 hari. Juga mendukung evaluasi pembelajaran konteks teks panjang dan strategi memori agen. Pengujian menunjukkan model terkuat Claude-Opus-4.6 dalam mode "open-book" hanya sedikit di atas 0,5; mengaktifkan mode berpikir tidak selalu meningkatkan performa tugas personalisasi; semua model mengalami penurunan tajam pada tugas yang memerlukan pertanyaan proaktif. VitaBench 2.0 telah open source.
Poin utama
- Tim LongCat Meituan meluncurkan VitaBench 2.
- 0,benchmark evaluasi agen pertama untuk pemodelan pengguna dinamis jangka panjang dalam skenario…
- Mencakup 56 pengguna simulasi,819 tugas kompleks,lebih dari 2000 preferensi dinamis,dan 66 alat…
- Juga mendukung evaluasi pembelajaran konteks teks panjang dan strategi memori agen.
- Pengujian menunjukkan model terkuat Claude-Opus-4.
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- 公众号:龙猫LongCat(美团)
- Kategori
- Produk & Aplikasi
- Skor AI
- 69
美团LongCat开源的VitaBench 2.0是首个评测AI长期理解用户偏好的基准,实验发现最强模型得分也刚过0.5,做Agent和推荐系统的值得跑一遍。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Meituan LongCat Open Source VitaBench 2.0: Tolok Ukur Baru untuk Benchmark Agen Dinamis Jangka Panjang. 25 Juni 2026. https://new.nat6.net/id/news/cmquellij03q2sl80f5fm292j/