ITBench-AA: 프런티어 대규모 언어 모델, 첫 에이전트 기업 IT 작업 벤치마크에서 모두 50% 미만 기록
원제목:ITBench-AA: Frontier Models Score Below 50% on the First Benchmark for Agentic Enterprise IT Tasks — by Artificial Analysis and IBM
AI 요약
Artificial Analysis와 IBM이 공개한 ITBench-AA SRE 벤치마크에서 모든 프런티어 대규모 언어 모델이 50%를 넘지 못했다. Claude Opus 4.7(적응형 추론, 최대 노력)이 47%로 선두를 차지했고, GPT-5.5(xhigh)와 Qwen3.7 Max가 각각 46%와 42%를 기록했다. 이 테스트는 Shell 명령으로 Kubernetes 이벤트 스냅샷을 조사하고 근본 원인 진단을 제출해야 하는 59개의 에이전트 작업으로 구성됐다. 핵심 발견은 모델별 추론 라운드 차이가 거의 3배에 달하지만 더 긴 궤적이 더 높은 정확도로 이어지지 않으며, 과도하게 조사한 모델은 오탐을 제출해 감점된다는 점이다. 비용 측면에서는 오픈소스 모델 Gemma 4 31B(Reasoning)가 작업당 $0.14의 비용으로 37% 점수를 얻어, 비용이 더 높지만 점수는 낮은 폐쇄형 모델보다 우수했다.
핵심 정보
- Artificial Analysis와 IBM이 공개한 ITBench-AA SRE 벤치마크에서 모든 프런티어 대규모 언어 모델이 50%를 넘지 못했다.
- Claude Opus 4.
- 7(적응형 추론,최대 노력)이 47%로 선두를 차지했고,GPT-5.
- 5(xhigh)와 Qwen3.
- 7 Max가 각각 46%와 42%를 기록했다.
한눈에 보기
- 게시
- 업데이트
- 카테고리
- 논문 및 연구
- AI 점수
- 70
IT运维这事儿,AI还是新手。ITBench-AA这份基准把Claude Opus 4.7逼到47%,开源模型GLM-5.1却用五分之一成本拿到40%,企业场景性价比可能不在闭源那边。
관련 엔티티
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: ITBench-AA: 프런티어 대규모 언어 모델, 첫 에이전트 기업 IT 작업 벤치마크에서 모두 50% 미만 기록. 2026년 5월 28일. https://new.nat6.net/ko/news/cmpobyo1b04qeslv4jzefv5eu/