Papers & Forschung

Google Labs schlägt „Insight-Policy“ zur Bewertung der Proaktivität von KI-Coding-Agenten vor

Originaltitel:Measuring What Matters with Jules

KI-Zusammenfassung

Google Labs schlägt vor, die Proaktivität von KI-Coding-Agenten anhand einer „Insight-Policy“ zu bewerten statt nur nach Aufgabenerfüllung zu punkten. Das Team rekonstruierte anhand von 705 Bugs (1178 CLs) aus internen Google-Codebasen die tatsächlichen übergeordneten Ziele der Entwickler durch Clustering nach räumlich-zeitlicher Nähe und semantischer Ähnlichkeit. Erste Experimente zeigen: Jules erreicht bei einmaliger Exploration eine durchschnittliche Relevanzbewertung von 4,5/5; steigt das Explorationsbudget von zwei auf drei Runden, erhöht sich die Hit@5-Genauigkeit von 33 % auf 57 %. Das Team erweitert die Bewertungsmethode auf öffentliche GitHub-Daten und prüft die Einbeziehung reichhaltigerer Kontexte wie Issue-Tracker und Dialoge.

Kernpunkte

  • Google Labs schlägt vor,die Proaktivität von KI-Coding-Agenten anhand einer „Insight-Policy“ zu…
  • Das Team rekonstruierte anhand von 705 Bugs (1178 CLs) aus internen Google-Codebasen die…
  • Erste Experimente zeigen: Jules erreicht bei einmaliger Exploration eine durchschnittliche…
  • steigt das Explorationsbudget von zwei auf drei Runden,erhöht sich die Hit@5-Genauigkeit von 33 %…
  • Das Team erweitert die Bewertungsmethode auf öffentliche GitHub-Daten und prüft die Einbeziehung…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
Google Developers Blog(RSS)
Kategorie
Papers & Forschung
KI-Bewertung
61
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

AI 编码代理的评估从任务修复转向目标洞察,Google 这个思路让评估更接近真实开发场景,但实验还是内部数据,等公开 GitHub 版本再看落地效果。

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Google Labs schlägt „Insight-Policy“ zur Bewertung der Proaktivität von KI-Coding-Agenten vor. 22. Juni 2026. https://new.nat6.net/de/news/cmqpeu90600l4sldksepc49lt/

Alle ansehen →