Cómo vulneramos los principales benchmarks de agentes de IA y qué viene después
Título original:How We Broke Top AI Agent Benchmarks: And What Comes Next
Resumen de IA
Un equipo de investigación de Berkeley desarrolló un agente de escaneo automatizado que auditó sistemáticamente ocho benchmarks populares de agentes de IA, como SWE-bench y WebArena, y encontró vulnerabilidades explotables en todos ellos. Mediante la modificación de configuraciones de prueba, la inserción de envoltorios troyanizados y la lectura de respuestas estándar, el agente obtuvo una puntuación perfecta del 100% en Terminal-Bench y SWE-bench Verified, y cerca del 100% en WebArena, sin resolver realmente ninguna tarea. El estudio revela defectos de seguridad sistémicos en los mecanismos de evaluación de benchmarks de IA: una puntuación alta no equivale a capacidad real.
Puntos clave
- Un equipo de investigación de Berkeley desarrolló un agente de escaneo automatizado que auditó…
- Mediante la modificación de configuraciones de prueba,la inserción de envoltorios troyanizados y…
- El estudio revela defectos de seguridad sistémicos en los mecanismos de evaluación de benchmarks…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- Berkeley RDI:Blog(AI 安全与评测)
- Categoría
- Opinión
- Puntuación IA
- 87
伯克利团队从内部挨个拆解了八大主流基准,发现全都能被零能力 agent 打满分。这不只是打脸,他们给出了一份评估构建清单,以后做基准的人必须过了这一关才算及格。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Cómo vulneramos los principales benchmarks de agentes de IA y qué viene después. 8. abril 2026. https://new.nat6.net/es/news/cmnxbjlqu00apsln09alcqies/