PawBench: 범용 에이전트를 위한 측정 가능한 자
AI 요약
通义实验室이 개인 비서 및 범용 에이전트 시나리오를 겨냥한 새로운 평가 기준 PawBench v1.0을 출시했다. 기반 모델과 실행 프레임워크 Harness를 동일 체계에 포함해 교차 평가한다. 평가 매트릭스는 9개 모델과 3개 Harness(Hermes, OpenClaw, QwenPaw)로 구성되며 150개 실제 과제, 총 4050개 테스트 단위를 포괄한다. 결과적으로 QwenPaw(76.4점), OpenClaw(75.4점), Hermes(70.4점) 간에 유의미한 점수 차이가 있었고, Harness 환경이 성능에 미치는 영향이 모델 자체보다 큰 경우도 있었다. PawBench는 슬라이스 분석을 통해 Harness의 산출물 검증, Skill 능동 발견, Web 검색 기본 가용성 등의 핵심 격차도 밝혀냈다. 프로젝트는 오픈소스로 공개됐다.
핵심 정보
- 通义实验室이 개인 비서 및 범용 에이전트 시나리오를 겨냥한 새로운 평가 기준 PawBench v1.
- 0을 출시했다.
- 기반 모델과 실행 프레임워크 Harness를 동일 체계에 포함해 교차 평가한다.
- 평가 매트릭스는 9개 모델과 3개 Harness(Hermes,OpenClaw,QwenPaw)로 구성되며 150개 실제 과제,총 4050개 테스트 단위를 포괄한다.
- 결과적으로 QwenPaw(76.
한눈에 보기
- 게시
- 업데이트
- 카테고리
- 제품 및 앱
- AI 점수
- 70
PawBench 把 Harness 从‘看不见的手’变成可诊断的变量,好 Harness 能让弱模型以下克上,这份评测对 Agent 框架开发者是一份必读的校验清单。
관련 엔티티
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: PawBench: 범용 에이전트를 위한 측정 가능한 자. 2026년 6월 5일. https://new.nat6.net/ko/news/cmq2o71l001imsl6nw5cypu9a/