Articles et recherche

Google Labs propose d'évaluer l'initiative des agents de codage IA par les « politiques d'insight »

Titre original:Measuring What Matters with Jules

Résumé IA

Google Labs propose d'évaluer l'initiative des agents de codage IA à l'aune des « politiques d'insight », plutôt que sur le seul taux d'achèvement des tâches. L'équipe s'appuie sur 705 bugs (1 178 CL) d'une base de code interne à Google et reconstitue, par regroupement selon la proximité spatio-temporelle et la similarité sémantique, les objectifs de haut niveau réellement poursuivis par les développeurs. Les premières expériences montrent que Jules obtient une note moyenne de pertinence des insights de 4,5/5 en exploration à un tour, et que le passage d'un budget d'exploration de deux à trois tours fait grimper la précision Hit@5 de 33 % à 57 %. L'équipe étend sa méthode d'évaluation à des données GitHub publiques et explore l'intégration de contextes plus riches, comme les outils de suivi de tickets et les conversations.

Points clés

  • Google Labs propose d'évaluer l'initiative des agents de codage IA à l'aune des « politiques…
  • L'équipe s'appuie sur 705 bugs (1 178 CL) d'une base de code interne à Google et reconstitue,par…
  • Les premières expériences montrent que Jules obtient une note moyenne de pertinence des insights…
  • L'équipe étend sa méthode d'évaluation à des données GitHub publiques et explore l'intégration de…

En bref

Publié
Mis à jour
Source
Google Developers Blog(RSS)
Catégorie
Articles et recherche
Score IA
61
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

AI 编码代理的评估从任务修复转向目标洞察,Google 这个思路让评估更接近真实开发场景,但实验还是内部数据,等公开 GitHub 版本再看落地效果。

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Google Labs propose d'évaluer l'initiative des agents de codage IA par les « politiques d'insight ». 22. juin 2026. https://new.nat6.net/fr/news/cmqpeu90600l4sldksepc49lt/

Tout voir →