Makalah & Riset

Google Labs Usulkan "Strategi Wawasan" untuk Menilai Inisiatif Agen Coding AI

Judul asli:Measuring What Matters with Jules

Ringkasan AI

Google Labs mengusulkan penggunaan "strategi wawasan" untuk menilai inisiatif agen coding AI, bukan hanya menilai berdasarkan penyelesaian tugas. Tim menggunakan 705 bug (1178 CL) dari basis kode internal Google, melalui pengelompokan kedekatan spatiotemporal dan kemiripan semantik untuk merekonstruksi tujuan tingkat tinggi aktual pengembang. Eksperimen awal menunjukkan: Jules dalam eksplorasi satu putaran memperoleh skor relevansi wawasan rata-rata 4,5/5; ketika anggaran eksplorasi dinaikkan dari dua menjadi tiga putaran, akurasi Hit@5 naik dari 33% menjadi 57%. Tim sedang memperluas metode evaluasi ke data GitHub publik dan mengeksplorasi integrasi konteks yang lebih kaya seperti pelacak masalah dan percakapan.

Poin utama

  • Google Labs mengusulkan penggunaan "strategi wawasan" untuk menilai inisiatif agen coding AI,bukan…
  • Tim menggunakan 705 bug (1178 CL) dari basis kode internal Google,melalui pengelompokan kedekatan…
  • Eksperimen awal menunjukkan: Jules dalam eksplorasi satu putaran memperoleh skor relevansi wawasan…
  • ketika anggaran eksplorasi dinaikkan dari dua menjadi tiga putaran,akurasi Hit@5 naik dari 33%…
  • Tim sedang memperluas metode evaluasi ke data GitHub publik dan mengeksplorasi integrasi konteks…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Google Developers Blog(RSS)
Kategori
Makalah & Riset
Skor AI
61
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

AI 编码代理的评估从任务修复转向目标洞察,Google 这个思路让评估更接近真实开发场景,但实验还是内部数据,等公开 GitHub 版本再看落地效果。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Google Labs Usulkan "Strategi Wawasan" untuk Menilai Inisiatif Agen Coding AI. 22 Juni 2026. https://new.nat6.net/id/news/cmqpeu90600l4sldksepc49lt/

Lihat semua →