Статьи и исследования

Google Labs предлагает оценивать инициативность ИИ-агентов программирования через «стратегию инсайтов»

Оригинальный заголовок:Measuring What Matters with Jules

ИИ-резюме

Google Labs предлагает оценивать инициативность ИИ-агентов программирования через «стратегию инсайтов», а не только по степени выполнения задач. Команда на основе 705 багов (1178 CL) во внутренней кодовой базе Google восстановила реальные высокоуровневые цели разработчиков с помощью кластеризации по пространственно-временной близости и семантическому сходству. Предварительные эксперименты показывают: у Jules при однораундовом исследовании средняя оценка релевантности инсайтов составляет 4,5/5; при увеличении бюджета исследования с двух до трёх раундов точность Hit@5 выросла с 33% до 57%. Команда расширяет метод оценки на публичные данные GitHub и изучает включение более богатого контекста — трекеров задач, диалогов и т. д.

Ключевые моменты

  • Google Labs предлагает оценивать инициативность ИИ-агентов программирования через «стратегию…
  • Команда на основе 705 багов (1178 CL) во внутренней кодовой базе Google восстановила реальные…
  • Предварительные эксперименты показывают: у Jules при однораундовом исследовании средняя оценка…
  • при увеличении бюджета исследования с двух до трёх раундов точность Hit@5 выросла с 33% до 57%.
  • Команда расширяет метод оценки на публичные данные GitHub и изучает включение более богатого…

Кратко

Опубликовано
Обновлено
Источник
Google Developers Blog(RSS)
Категория
Статьи и исследования
Оценка ИИ
61
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

AI 编码代理的评估从任务修复转向目标洞察,Google 这个思路让评估更接近真实开发场景,但实验还是内部数据,等公开 GitHub 版本再看落地效果。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Google Labs предлагает оценивать инициативность ИИ-агентов программирования через «стратегию инсайтов». 22 июня 2026. https://new.nat6.net/ru/news/cmqpeu90600l4sldksepc49lt/

Смотреть все →