Google Labs propose d'évaluer l'initiative des agents de codage IA par les « politiques d'insight »
Titre original:Measuring What Matters with Jules
Résumé IA
Google Labs propose d'évaluer l'initiative des agents de codage IA à l'aune des « politiques d'insight », plutôt que sur le seul taux d'achèvement des tâches. L'équipe s'appuie sur 705 bugs (1 178 CL) d'une base de code interne à Google et reconstitue, par regroupement selon la proximité spatio-temporelle et la similarité sémantique, les objectifs de haut niveau réellement poursuivis par les développeurs. Les premières expériences montrent que Jules obtient une note moyenne de pertinence des insights de 4,5/5 en exploration à un tour, et que le passage d'un budget d'exploration de deux à trois tours fait grimper la précision Hit@5 de 33 % à 57 %. L'équipe étend sa méthode d'évaluation à des données GitHub publiques et explore l'intégration de contextes plus riches, comme les outils de suivi de tickets et les conversations.
Points clés
- Google Labs propose d'évaluer l'initiative des agents de codage IA à l'aune des « politiques…
- L'équipe s'appuie sur 705 bugs (1 178 CL) d'une base de code interne à Google et reconstitue,par…
- Les premières expériences montrent que Jules obtient une note moyenne de pertinence des insights…
- L'équipe étend sa méthode d'évaluation à des données GitHub publiques et explore l'intégration de…
En bref
- Publié
- Mis à jour
- Source
- Google Developers Blog(RSS)
- Catégorie
- Articles et recherche
- Score IA
- 61
AI 编码代理的评估从任务修复转向目标洞察,Google 这个思路让评估更接近真实开发场景,但实验还是内部数据,等公开 GitHub 版本再看落地效果。
Entités associées
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Google Labs propose d'évaluer l'initiative des agents de codage IA par les « politiques d'insight ». 22. juin 2026. https://new.nat6.net/fr/news/cmqpeu90600l4sldksepc49lt/