제품 및 앱

메이투안 LongCat, VitaBench 2.0 오픈소스 공개: 장기 동적 에이전트 벤치마크의 새로운 기준

AI 요약

메이투안 LongCat 팀이 실제 생활 시나리오에서 장기 동적 사용자 모델링을 위한 최초의 에이전트 평가 벤치마크인 VitaBench 2.0을 출시했다. 56명의 모의 사용자, 819개의 복잡한 작업, 2000개 이상의 동적 선호도 및 66개의 실행 가능한 도구를 포함하며, 사용자당 평균 2093개의 상호작용 이벤트와 평균 1580일의 시간 범위를 가진다. 장문 컨텍스트 학습과 에이전트 기억 전략 평가도 지원한다. 테스트 결과, 가장 강력한 모델인 Claude-Opus-4.6은 '오픈북' 모드에서 평균 점수가 0.5를 겨우 넘었고, 사고 모드를 켜도 개인화 작업 성능이 항상 향상되지는 않았으며, 모든 모델은 능동적 질문이 필요한 작업에서 점수가 급락했다. VitaBench 2.0은 오픈소스로 공개되었다.

핵심 정보

  • 메이투안 LongCat 팀이 실제 생활 시나리오에서 장기 동적 사용자 모델링을 위한 최초의 에이전트 평가 벤치마크인 VitaBench 2.
  • 0을 출시했다.
  • 56명의 모의 사용자,819개의 복잡한 작업,2000개 이상의 동적 선호도 및 66개의 실행 가능한 도구를 포함하며,사용자당 평균 2093개의 상호작용 이벤트와 평균…
  • 장문 컨텍스트 학습과 에이전트 기억 전략 평가도 지원한다.
  • 테스트 결과,가장 강력한 모델인 Claude-Opus-4.

한눈에 보기

게시
업데이트
출처
公众号:龙猫LongCat(美团)
카테고리
제품 및 앱
AI 점수
69
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

美团LongCat开源的VitaBench 2.0是首个评测AI长期理解用户偏好的基准,实验发现最强模型得分也刚过0.5,做Agent和推荐系统的值得跑一遍。

관련 엔티티

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: 메이투안 LongCat, VitaBench 2.0 오픈소스 공개: 장기 동적 에이전트 벤치마크의 새로운 기준. 2026년 6월 25일. https://new.nat6.net/ko/news/cmquellij03q2sl80f5fm292j/

전체 보기 →