Google Labs propone evaluar la iniciativa de los agentes de programación con IA mediante "políticas de insight"
Título original:Measuring What Matters with Jules
Resumen de IA
Google Labs propone evaluar la iniciativa de los agentes de programación con IA mediante "políticas de insight" en lugar de puntuar solo la finalización de tareas. El equipo reconstruyó los objetivos reales de alto nivel de los desarrolladores a partir de 705 bugs (1178 CL) del repositorio interno de Google, agrupándolos por vecindad espaciotemporal y similitud semántica. Los experimentos preliminares muestran que Jules obtiene una puntuación media de relevancia de insight de 4,5/5 con una sola ronda de exploración; al pasar de dos a tres rondas de presupuesto de exploración, la precisión Hit@5 sube del 33% al 57%. El equipo está ampliando el método de evaluación a datos públicos de GitHub y explorando la incorporación de contextos más ricos, como rastreadores de incidencias y conversaciones.
Puntos clave
- Google Labs propone evaluar la iniciativa de los agentes de programación con IA mediante…
- El equipo reconstruyó los objetivos reales de alto nivel de los desarrolladores a partir de 705…
- Los experimentos preliminares muestran que Jules obtiene una puntuación media de relevancia de…
- al pasar de dos a tres rondas de presupuesto de exploración,la precisión Hit@5 sube del 33% al 57%.
- El equipo está ampliando el método de evaluación a datos públicos de GitHub y explorando la…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- Google Developers Blog(RSS)
- Categoría
- Artículos e investigación
- Puntuación IA
- 61
AI 编码代理的评估从任务修复转向目标洞察,Google 这个思路让评估更接近真实开发场景,但实验还是内部数据,等公开 GitHub 版本再看落地效果。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Google Labs propone evaluar la iniciativa de los agentes de programación con IA mediante "políticas de insight". 22. junio 2026. https://new.nat6.net/es/news/cmqpeu90600l4sldksepc49lt/