Google Labs предлагает оценивать инициативность ИИ-агентов программирования через «стратегию инсайтов»
Оригинальный заголовок:Measuring What Matters with Jules
ИИ-резюме
Google Labs предлагает оценивать инициативность ИИ-агентов программирования через «стратегию инсайтов», а не только по степени выполнения задач. Команда на основе 705 багов (1178 CL) во внутренней кодовой базе Google восстановила реальные высокоуровневые цели разработчиков с помощью кластеризации по пространственно-временной близости и семантическому сходству. Предварительные эксперименты показывают: у Jules при однораундовом исследовании средняя оценка релевантности инсайтов составляет 4,5/5; при увеличении бюджета исследования с двух до трёх раундов точность Hit@5 выросла с 33% до 57%. Команда расширяет метод оценки на публичные данные GitHub и изучает включение более богатого контекста — трекеров задач, диалогов и т. д.
Ключевые моменты
- Google Labs предлагает оценивать инициативность ИИ-агентов программирования через «стратегию…
- Команда на основе 705 багов (1178 CL) во внутренней кодовой базе Google восстановила реальные…
- Предварительные эксперименты показывают: у Jules при однораундовом исследовании средняя оценка…
- при увеличении бюджета исследования с двух до трёх раундов точность Hit@5 выросла с 33% до 57%.
- Команда расширяет метод оценки на публичные данные GitHub и изучает включение более богатого…
Кратко
- Опубликовано
- Обновлено
- Источник
- Google Developers Blog(RSS)
- Категория
- Статьи и исследования
- Оценка ИИ
- 61
AI 编码代理的评估从任务修复转向目标洞察,Google 这个思路让评估更接近真实开发场景,但实验还是内部数据,等公开 GitHub 版本再看落地效果。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Google Labs предлагает оценивать инициативность ИИ-агентов программирования через «стратегию инсайтов». 22 июня 2026. https://new.nat6.net/ru/news/cmqpeu90600l4sldksepc49lt/