CyberGym-E2E: Benchmark Dunia Nyata Berskala Besar untuk Kemampuan Keamanan Siber End-to-End Agen AI
Judul asli:CyberGym-E2E: Scalable Real-World Benchmark for AI Agents' End-to-End Cybersecurity Capabilities
Ringkasan AI
CyberGym-E2E adalah benchmark keamanan siber end-to-end berskala besar yang mencakup 920 kerentanan nyata pada 139 proyek sumber terbuka. Tugasnya menuntut agen AI untuk secara mandiri menemukan kerentanan dalam basis kode nyata, menghasilkan proof-of-concept yang memicu crash, dan menulis patch. Pengujian menunjukkan: jika lokasi kerentanan diberikan langsung, konfigurasi terkuat dapat memperbaiki sekitar 80% kerentanan; tetapi jika harus ditemukan sendiri, tingkat keberhasilan end-to-end turun drastis—Claude Opus 4.5 hanya 19,2%, model terbaru antara 37%-66%. Agen mungkin menemukan kerentanan alternatif, dan terdapat patch yang dangkal. Semua kerentanan telah diungkapkan dan diperbaiki sebelumnya.
Poin utama
- CyberGym-E2E adalah benchmark keamanan siber end-to-end berskala besar yang mencakup 920…
- Tugasnya menuntut agen AI untuk secara mandiri menemukan kerentanan dalam basis kode…
- Pengujian menunjukkan: jika lokasi kerentanan diberikan langsung,konfigurasi terkuat dapat…
- tetapi jika harus ditemukan sendiri,tingkat keberhasilan end-to-end turun drastis—Claude Opus 4.
- 5 hanya 19,2%,model terbaru antara 37%-66%.
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- Berkeley RDI:Blog(AI 安全与评测)
- Kategori
- Makalah & Riset
- Skor AI
- 74
伯克利这个新基准把漏洞发现、利用、修复串成一条线,结果很直观,修复能做到 80%,但自己找漏洞只剩 20%,新模型在快速追赶。想看清 AI 真实攻防能力的人该读。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: CyberGym-E2E: Benchmark Dunia Nyata Berskala Besar untuk Kemampuan Keamanan Siber End-to-End Agen AI. 18 Juni 2026. https://new.nat6.net/id/news/cmqlhlm0t00b3sljgy5o93w0h/