Artículos e investigación

Google Labs propone evaluar la iniciativa de los agentes de programación con IA mediante "políticas de insight"

Título original:Measuring What Matters with Jules

Resumen de IA

Google Labs propone evaluar la iniciativa de los agentes de programación con IA mediante "políticas de insight" en lugar de puntuar solo la finalización de tareas. El equipo reconstruyó los objetivos reales de alto nivel de los desarrolladores a partir de 705 bugs (1178 CL) del repositorio interno de Google, agrupándolos por vecindad espaciotemporal y similitud semántica. Los experimentos preliminares muestran que Jules obtiene una puntuación media de relevancia de insight de 4,5/5 con una sola ronda de exploración; al pasar de dos a tres rondas de presupuesto de exploración, la precisión Hit@5 sube del 33% al 57%. El equipo está ampliando el método de evaluación a datos públicos de GitHub y explorando la incorporación de contextos más ricos, como rastreadores de incidencias y conversaciones.

Puntos clave

  • Google Labs propone evaluar la iniciativa de los agentes de programación con IA mediante…
  • El equipo reconstruyó los objetivos reales de alto nivel de los desarrolladores a partir de 705…
  • Los experimentos preliminares muestran que Jules obtiene una puntuación media de relevancia de…
  • al pasar de dos a tres rondas de presupuesto de exploración,la precisión Hit@5 sube del 33% al 57%.
  • El equipo está ampliando el método de evaluación a datos públicos de GitHub y explorando la…

Resumen rápido

Publicado
Actualizado
Fuente
Google Developers Blog(RSS)
Categoría
Artículos e investigación
Puntuación IA
61
Leer el original Leer el artículo completo en la fuente original
Por qué importa

AI 编码代理的评估从任务修复转向目标洞察,Google 这个思路让评估更接近真实开发场景,但实验还是内部数据,等公开 GitHub 版本再看落地效果。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Google Labs propone evaluar la iniciativa de los agentes de programación con IA mediante "políticas de insight". 22. junio 2026. https://new.nat6.net/es/news/cmqpeu90600l4sldksepc49lt/

Ver todo →