버클리 RDI, Agents' Last Exam 벤치마크 발표
원제목:Agents' Last Exam
AI 요약
2026년 6월 버클리 RDI가 실제 업무에서 비롯된 1,500여 개 과제를 포함하고 55개 비육체 노동 직종을 아우르는 Agents' Last Exam(ALE) 벤치마크를 발표했다. Fable 5, GPT-5.5, Composer 2.5 등 프런티어 에이전트 평가에서 가장 어려운 난이도의 성공률은 모두 0%였다. 전체 과제 성과는 비슷했지만 과제당 비용 차이가 컸다(Fable 5 약 $15.70, GPT-5.5 약 $3.80, Composer 2.5 약 $1.33). CLI 하위 집합 ALE-CLI의 최고 통과율은 25.2%에 그쳤다. 주요 실패 유형은 에이전트가 출력을 검증하지 않고 완료를 선언하는 것이다. 데이터셋, 코드, CLI 하위 집합은 오픈소스로 공개됐다.
핵심 정보
- 2026년 6월 버클리 RDI가 실제 업무에서 비롯된 1,500여 개 과제를 포함하고 55개 비육체 노동 직종을 아우르는 Agents' Last Exam(ALE) 벤치마크를…
- Fable 5,GPT-5.
- 5,Composer 2.
- 5 등 프런티어 에이전트 평가에서 가장 어려운 난이도의 성공률은 모두 0%였다.
- 전체 과제 성과는 비슷했지만 과제당 비용 차이가 컸다(Fable 5 약 $15.
한눈에 보기
- 게시
- 업데이트
- 카테고리
- 논문 및 연구
- AI 점수
- 83
在Fable 5发布后,Berkeley的ALE基准首次大规模量化了agent在专业任务上的真实水平,最难任务0%成功率的结果值得所有押注agent落地的团队冷静下来。
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: 버클리 RDI, Agents' Last Exam 벤치마크 발표. 2026년 6월 15일. https://new.nat6.net/ko/news/cmqfzukav0264slspmybg065u/