Opinión

Trail of Bits critica que el benchmark de parches con IA de 1Password es engañoso y publica dos parches para evaluar las capacidades de los agentes

Título original:1Password's AI patching benchmark is misleading

Resumen de IA

Trail of Bits critica en un artículo el informe FLAWED que 1Password publicó el 6 de agosto y afirma que su tasa del 26% de correcciones limpias con IA está distorsionada por cuatro decisiones de diseño experimental: prompts que indicaban deliberadamente al agente aplicar correcciones erróneas, presentes en el 22% de los datos; un 36% de ensayos que prohibían compilar y probar; y distintos niveles de razonamiento configurados.

Puntos clave

  • Trail of Bits critica en un artículo el informe FLAWED que 1Password publicó el 6 de agosto y…
  • un 36% de ensayos que prohibían compilar y probar
  • y distintos niveles de razonamiento configurados.

Resumen rápido

Publicado
Actualizado
Fuente
Trail of Bits:AI安全研究
Categoría
Opinión
Puntuación IA
61
Leer el original Leer el artículo completo en la fuente original
Por qué importa

原文针对1Password基准的26%头条数字给出逐项方法学批评,并补充自身人类修复失败率与开源合并数据作对照。

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Trail of Bits critica que el benchmark de parches con IA de 1Password es engañoso y publica dos parches para evaluar las capacidades de los agentes. 15. septiembre 2026. https://new.nat6.net/es/news/cmu2lqodj08k0rovqocv9r3z3/

Ver todo →