论文与研究

Google Labs 提出用“洞察策略”评估 AI 编码智能体的主动性

原文标题:Measuring What Matters with Jules

AI 摘要

Google Labs 提出以“洞察策略”评估 AI 编码智能体的主动性,而非仅按任务完成度打分。团队基于 Google 内部代码库 705 个 bug(1178 个 CL),通过时空近邻与语义相似度聚类还原开发者实际的高层级目标。初步实验显示:Jules 在单轮探索下洞察相关性评分平均 4.5/5;探索预算从两轮增至三轮时,Hit@5 准确率从 33% 升至 57%。团队正将评估方法扩展至公开 GitHub 数据,并探索纳入问题追踪器、对话等更丰富的上下文。

关键信息

  • Google Labs 提出以“洞察策略”评估 AI 编码智能体的主动性,而非仅按任务完成度打分。
  • 团队基于 Google 内部代码库 705 个 bug(1178 个 CL),通过时空近邻与语义相似度聚类还原开发者实际的高层级目标。
  • 初步实验显示:Jules 在单轮探索下洞察相关性评分平均 4.
  • 探索预算从两轮增至三轮时,Hit@5 准确率从 33% 升至 57%。
  • 团队正将评估方法扩展至公开 GitHub 数据,并探索纳入问题追踪器、对话等更丰富的上下文

速览

发布时间
更新时间
来源
Google Developers Blog(RSS)
分类
论文与研究
AI 评分
61
阅读原文 前往信息源阅读完整正文
推荐理由

AI 编码代理的评估从任务修复转向目标洞察,Google 这个思路让评估更接近真实开发场景,但实验还是内部数据,等公开 GitHub 版本再看落地效果。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:Google Labs 提出用“洞察策略”评估 AI 编码智能体的主动性。2026年6月22日。https://new.nat6.net/news/cmqpeu90600l4sldksepc49lt/

查看全部 →
  • MosaicLeaks: 你的研究智能体能保守秘密吗?

    深度研究智能体在结合私有本地文档与外部网页检索时存在隐私泄露风险。MosaicLeaks 提出包含 1,001 条多跳研究链的新任务,每条链交错混合本地与公共子问题。测试发现智能体频繁泄露私有信息,单纯优化任务性能反而加剧泄露。基于此,研…

    Hugging Face 社区博客(混合发现)论文与研究AI 评分 75

  • 九位评委,两个有效投票:相关错误削弱LLM评审面板

    苹果机器学习研究团队发现,LLM-as-a-judge面板因模型间高度相关而严重受限。对7个模型家族的9个前沿大语言模型在3个自然语言推理数据集上的测试表明,9位评委实际仅提供约2个独立投票的信息量,面板准确率比独立投票理想值低8–22个…

    Apple Machine Learning Research(RSS)论文与研究AI 评分 68

  • OpenAI 强化学习实现广泛且持久的有益模型

    OpenAI 通过强化学习在真实对话场景中训练模型,使其展现诚实、认知谦逊、元认知透明、可纠正性、普遍公平性和对人类福祉的关心等有益特质。训练数据涵盖健康、教育、科学、法律、工程等多个领域。训练后模型在数十项独立对齐评测(包括奖励黑客、欺…

    OpenAI:Alignment 研究博客(RSS)论文与研究AI 评分 64

  • 思考即回忆:推理如何解锁LLM中的参数化知识

    Google Research研究发现,推理(chain-of-thought)能帮助大语言模型(LLM)回忆简单事实,即使这些事实无需复杂推导。在Gemini-2.5 Flash和Pro以及Qwen3-32B上,启用推理后模型能够回答原…

    Google Research:Blog(网页)论文与研究AI 评分 69

  • DFlash:块扩散草稿模型实现最高15倍吞吐量提升

    DFlash 由 UC San Diego 团队提出,是一种用于投机解码的轻量块扩散草稿模型。它一次前向推理生成整块 token,再由目标模型并行验证,保证输出无损。相比 EAGLE-3,DFlash 实现最高 2.5 倍加速,在 Qwe…

    MarkTechPost(RSS)论文与研究AI 评分 74