Mga produkto at aplikasyon

Open source ng Meituan LongCat ang VitaBench 2.0: bagong benchmark para sa long-term dynamic agent

AI summary

Inilunsad ng Meituan LongCat team ang VitaBench 2.0, ang unang agent evaluation benchmark para sa long-term dynamic user modeling sa totoong senaryo ng buhay. May 56 na simulated user, 819 na kumplikadong gawain, mahigit 2000 na dynamic preference at 66 na executable tool, at average na 2093 interaction event bawat user, na may average na 1580 araw na time span. Sinusuportahan din nito ang long-text context learning at agent memory strategy evaluation. Ipinapakita ng test na ang pinakamalakas na model na Claude-Opus-4.6 ay bahagya lamang lumampas sa 0.5 ang average score sa "open-book" mode; hindi laging pinapabuti ng thinking mode ang performance sa personalized na gawain; at bumagsak ang score ng lahat ng modelo sa mga gawaing nangangailangan ng proactive na pagtatanong. Open source na ang VitaBench 2.0.

Mahahalagang impormasyon

  • Inilunsad ng Meituan LongCat team ang VitaBench 2.
  • 0,ang unang agent evaluation benchmark para sa long-term dynamic user modeling sa totoong senaryo…
  • May 56 na simulated user,819 na kumplikadong gawain,mahigit 2000 na dynamic preference at 66 na…
  • Sinusuportahan din nito ang long-text context learning at agent memory strategy evaluation.
  • Ipinapakita ng test na ang pinakamalakas na model na Claude-Opus-4.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
公众号:龙猫LongCat(美团)
Kategorya
Mga produkto at aplikasyon
AI na marka
69
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

美团LongCat开源的VitaBench 2.0是首个评测AI长期理解用户偏好的基准,实验发现最强模型得分也刚过0.5,做Agent和推荐系统的值得跑一遍。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Open source ng Meituan LongCat ang VitaBench 2.0: bagong benchmark para sa long-term dynamic agent. 25 Hunyo 2026. https://new.nat6.net/fil/news/cmquellij03q2sl80f5fm292j/

Tingnan lahat →