Makalah & Riset

CyberGym-E2E: Benchmark Dunia Nyata Berskala Besar untuk Kemampuan Keamanan Siber End-to-End Agen AI

Judul asli:CyberGym-E2E: Scalable Real-World Benchmark for AI Agents' End-to-End Cybersecurity Capabilities

Ringkasan AI

CyberGym-E2E adalah benchmark keamanan siber end-to-end berskala besar yang mencakup 920 kerentanan nyata pada 139 proyek sumber terbuka. Tugasnya menuntut agen AI untuk secara mandiri menemukan kerentanan dalam basis kode nyata, menghasilkan proof-of-concept yang memicu crash, dan menulis patch. Pengujian menunjukkan: jika lokasi kerentanan diberikan langsung, konfigurasi terkuat dapat memperbaiki sekitar 80% kerentanan; tetapi jika harus ditemukan sendiri, tingkat keberhasilan end-to-end turun drastis—Claude Opus 4.5 hanya 19,2%, model terbaru antara 37%-66%. Agen mungkin menemukan kerentanan alternatif, dan terdapat patch yang dangkal. Semua kerentanan telah diungkapkan dan diperbaiki sebelumnya.

Poin utama

  • CyberGym-E2E adalah benchmark keamanan siber end-to-end berskala besar yang mencakup 920…
  • Tugasnya menuntut agen AI untuk secara mandiri menemukan kerentanan dalam basis kode…
  • Pengujian menunjukkan: jika lokasi kerentanan diberikan langsung,konfigurasi terkuat dapat…
  • tetapi jika harus ditemukan sendiri,tingkat keberhasilan end-to-end turun drastis—Claude Opus 4.
  • 5 hanya 19,2%,model terbaru antara 37%-66%.

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Berkeley RDI:Blog(AI 安全与评测)
Kategori
Makalah & Riset
Skor AI
74
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

伯克利这个新基准把漏洞发现、利用、修复串成一条线,结果很直观,修复能做到 80%,但自己找漏洞只剩 20%,新模型在快速追赶。想看清 AI 真实攻防能力的人该读。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: CyberGym-E2E: Benchmark Dunia Nyata Berskala Besar untuk Kemampuan Keamanan Siber End-to-End Agen AI. 18 Juni 2026. https://new.nat6.net/id/news/cmqlhlm0t00b3sljgy5o93w0h/

Lihat semua →