CyberGym-E2E: AI 에이전트 엔드투엔드 사이버 보안 능력의 대규모 실제 벤치마크
원제목:CyberGym-E2E: Scalable Real-World Benchmark for AI Agents' End-to-End Cybersecurity Capabilities
AI 요약
CyberGym-E2E는 920개의 실제 취약점과 139개 오픈소스 프로젝트를 아우르는 대규모 엔드투엔드 사이버 보안 벤치마크다. 과제는 AI 에이전트가 실제 코드베이스에서 스스로 취약점을 찾아내고 크래시를 유발하는 개념 증명을 생성하며 패치를 작성하도록 요구한다. 테스트 결과 취약점 위치를 직접 제시하면 최강 구성이 약 80%의 취약점을 수정할 수 있었지만, 스스로 발견해야 하는 경우 엔드투엔드 성공률이 급격히 떨어져 Claude Opus 4.5는 19.2%에 그쳤고 최신 모델은 37%~66% 사이였다. 에이전트가 대체 취약점을 발견할 수 있으며 일부는 피상적인 패치에 그쳤다. 모든 취약점은 사전에 공개되고 수정되었다.
핵심 정보
- CyberGym-E2E는 920개의 실제 취약점과 139개 오픈소스 프로젝트를 아우르는 대규모 엔드투엔드 사이버 보안 벤치마크다.
- 과제는 AI 에이전트가 실제 코드베이스에서 스스로 취약점을 찾아내고 크래시를 유발하는 개념 증명을 생성하며 패치를 작성하도록 요구한다.
- 테스트 결과 취약점 위치를 직접 제시하면 최강 구성이 약 80%의 취약점을 수정할 수 있었지만,스스로 발견해야 하는 경우 엔드투엔드 성공률이 급격히 떨어져 Claude Opus…
- 2%에 그쳤고 최신 모델은 37%~66% 사이였다.
- 에이전트가 대체 취약점을 발견할 수 있으며 일부는 피상적인 패치에 그쳤다.
한눈에 보기
- 게시
- 업데이트
- 카테고리
- 논문 및 연구
- AI 점수
- 74
伯克利这个新基准把漏洞发现、利用、修复串成一条线,结果很直观,修复能做到 80%,但自己找漏洞只剩 20%,新模型在快速追赶。想看清 AI 真实攻防能力的人该读。
관련 엔티티
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: CyberGym-E2E: AI 에이전트 엔드투엔드 사이버 보안 능력의 대규모 실제 벤치마크. 2026년 6월 18일. https://new.nat6.net/ko/news/cmqlhlm0t00b3sljgy5o93w0h/