논문 및 연구

버클리 RDI, Agents' Last Exam 벤치마크 발표

원제목:Agents' Last Exam

AI 요약

2026년 6월 버클리 RDI가 실제 업무에서 비롯된 1,500여 개 과제를 포함하고 55개 비육체 노동 직종을 아우르는 Agents' Last Exam(ALE) 벤치마크를 발표했다. Fable 5, GPT-5.5, Composer 2.5 등 프런티어 에이전트 평가에서 가장 어려운 난이도의 성공률은 모두 0%였다. 전체 과제 성과는 비슷했지만 과제당 비용 차이가 컸다(Fable 5 약 $15.70, GPT-5.5 약 $3.80, Composer 2.5 약 $1.33). CLI 하위 집합 ALE-CLI의 최고 통과율은 25.2%에 그쳤다. 주요 실패 유형은 에이전트가 출력을 검증하지 않고 완료를 선언하는 것이다. 데이터셋, 코드, CLI 하위 집합은 오픈소스로 공개됐다.

핵심 정보

  • 2026년 6월 버클리 RDI가 실제 업무에서 비롯된 1,500여 개 과제를 포함하고 55개 비육체 노동 직종을 아우르는 Agents' Last Exam(ALE) 벤치마크를…
  • Fable 5,GPT-5.
  • 5,Composer 2.
  • 5 등 프런티어 에이전트 평가에서 가장 어려운 난이도의 성공률은 모두 0%였다.
  • 전체 과제 성과는 비슷했지만 과제당 비용 차이가 컸다(Fable 5 약 $15.

한눈에 보기

게시
업데이트
출처
Berkeley RDI:Blog(AI 安全与评测)
카테고리
논문 및 연구
AI 점수
83
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

在Fable 5发布后,Berkeley的ALE基准首次大规模量化了agent在专业任务上的真实水平,最难任务0%成功率的结果值得所有押注agent落地的团队冷静下来。

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: 버클리 RDI, Agents' Last Exam 벤치마크 발표. 2026년 6월 15일. https://new.nat6.net/ko/news/cmqfzukav0264slspmybg065u/

전체 보기 →