Produk & Aplikasi

Meituan LongCat Open Source VitaBench 2.0: Tolok Ukur Baru untuk Benchmark Agen Dinamis Jangka Panjang

Ringkasan AI

Tim LongCat Meituan meluncurkan VitaBench 2.0, benchmark evaluasi agen pertama untuk pemodelan pengguna dinamis jangka panjang dalam skenario kehidupan nyata. Mencakup 56 pengguna simulasi, 819 tugas kompleks, lebih dari 2000 preferensi dinamis, dan 66 alat yang dapat dieksekusi, dengan rata-rata 2093 event interaksi per pengguna dan rentang waktu rata-rata 1580 hari. Juga mendukung evaluasi pembelajaran konteks teks panjang dan strategi memori agen. Pengujian menunjukkan model terkuat Claude-Opus-4.6 dalam mode "open-book" hanya sedikit di atas 0,5; mengaktifkan mode berpikir tidak selalu meningkatkan performa tugas personalisasi; semua model mengalami penurunan tajam pada tugas yang memerlukan pertanyaan proaktif. VitaBench 2.0 telah open source.

Poin utama

  • Tim LongCat Meituan meluncurkan VitaBench 2.
  • 0,benchmark evaluasi agen pertama untuk pemodelan pengguna dinamis jangka panjang dalam skenario…
  • Mencakup 56 pengguna simulasi,819 tugas kompleks,lebih dari 2000 preferensi dinamis,dan 66 alat…
  • Juga mendukung evaluasi pembelajaran konteks teks panjang dan strategi memori agen.
  • Pengujian menunjukkan model terkuat Claude-Opus-4.

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
公众号:龙猫LongCat(美团)
Kategori
Produk & Aplikasi
Skor AI
69
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

美团LongCat开源的VitaBench 2.0是首个评测AI长期理解用户偏好的基准,实验发现最强模型得分也刚过0.5,做Agent和推荐系统的值得跑一遍。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Meituan LongCat Open Source VitaBench 2.0: Tolok Ukur Baru untuk Benchmark Agen Dinamis Jangka Panjang. 25 Juni 2026. https://new.nat6.net/id/news/cmquellij03q2sl80f5fm292j/

Lihat semua →