Google Labs schlägt „Insight-Policy“ zur Bewertung der Proaktivität von KI-Coding-Agenten vor
Originaltitel:Measuring What Matters with Jules
KI-Zusammenfassung
Google Labs schlägt vor, die Proaktivität von KI-Coding-Agenten anhand einer „Insight-Policy“ zu bewerten statt nur nach Aufgabenerfüllung zu punkten. Das Team rekonstruierte anhand von 705 Bugs (1178 CLs) aus internen Google-Codebasen die tatsächlichen übergeordneten Ziele der Entwickler durch Clustering nach räumlich-zeitlicher Nähe und semantischer Ähnlichkeit. Erste Experimente zeigen: Jules erreicht bei einmaliger Exploration eine durchschnittliche Relevanzbewertung von 4,5/5; steigt das Explorationsbudget von zwei auf drei Runden, erhöht sich die Hit@5-Genauigkeit von 33 % auf 57 %. Das Team erweitert die Bewertungsmethode auf öffentliche GitHub-Daten und prüft die Einbeziehung reichhaltigerer Kontexte wie Issue-Tracker und Dialoge.
Kernpunkte
- Google Labs schlägt vor,die Proaktivität von KI-Coding-Agenten anhand einer „Insight-Policy“ zu…
- Das Team rekonstruierte anhand von 705 Bugs (1178 CLs) aus internen Google-Codebasen die…
- Erste Experimente zeigen: Jules erreicht bei einmaliger Exploration eine durchschnittliche…
- steigt das Explorationsbudget von zwei auf drei Runden,erhöht sich die Hit@5-Genauigkeit von 33 %…
- Das Team erweitert die Bewertungsmethode auf öffentliche GitHub-Daten und prüft die Einbeziehung…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- Google Developers Blog(RSS)
- Kategorie
- Papers & Forschung
- KI-Bewertung
- 61
AI 编码代理的评估从任务修复转向目标洞察,Google 这个思路让评估更接近真实开发场景,但实验还是内部数据,等公开 GitHub 版本再看落地效果。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Google Labs schlägt „Insight-Policy“ zur Bewertung der Proaktivität von KI-Coding-Agenten vor. 22. Juni 2026. https://new.nat6.net/de/news/cmqpeu90600l4sldksepc49lt/