Opinión

Cómo vulneramos los principales benchmarks de agentes de IA y qué viene después

Título original:How We Broke Top AI Agent Benchmarks: And What Comes Next

Resumen de IA

Un equipo de investigación de Berkeley desarrolló un agente de escaneo automatizado que auditó sistemáticamente ocho benchmarks populares de agentes de IA, como SWE-bench y WebArena, y encontró vulnerabilidades explotables en todos ellos. Mediante la modificación de configuraciones de prueba, la inserción de envoltorios troyanizados y la lectura de respuestas estándar, el agente obtuvo una puntuación perfecta del 100% en Terminal-Bench y SWE-bench Verified, y cerca del 100% en WebArena, sin resolver realmente ninguna tarea. El estudio revela defectos de seguridad sistémicos en los mecanismos de evaluación de benchmarks de IA: una puntuación alta no equivale a capacidad real.

Puntos clave

  • Un equipo de investigación de Berkeley desarrolló un agente de escaneo automatizado que auditó…
  • Mediante la modificación de configuraciones de prueba,la inserción de envoltorios troyanizados y…
  • El estudio revela defectos de seguridad sistémicos en los mecanismos de evaluación de benchmarks…

Resumen rápido

Publicado
Actualizado
Fuente
Berkeley RDI:Blog(AI 安全与评测)
Categoría
Opinión
Puntuación IA
87
Leer el original Leer el artículo completo en la fuente original
Por qué importa

伯克利团队从内部挨个拆解了八大主流基准,发现全都能被零能力 agent 打满分。这不只是打脸,他们给出了一份评估构建清单,以后做基准的人必须过了这一关才算及格。

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Cómo vulneramos los principales benchmarks de agentes de IA y qué viene después. 8. abril 2026. https://new.nat6.net/es/news/cmnxbjlqu00apsln09alcqies/

Ver todo →