Makalah & Riset

Pembaruan penelitian METR: penilaian algoritmik melebih-lebihkan kemampuan rekayasa perangkat lunak nyata agen AI

Judul asli:Research Update: Algorithmic vs. Holistic Evaluation

Ringkasan AI

METR mengevaluasi Claude 3.7 Sonnet (agen Inspect ReAct) pada 18 issue nyata di dua repositori stdlib-js dan hypothesis; tingkat keberhasilan penilaian algoritmik berdasarkan kasus uji maintainer adalah 38% (±19%), tetapi dari 15 PR yang ditinjau manusia, tidak ada satu pun yang dapat langsung digabungkan.

Poin utama

  • METR mengevaluasi Claude 3.
  • 7 Sonnet (agen Inspect ReAct) pada 18 issue nyata di dua repositori stdlib-js dan hypothesis
  • tingkat keberhasilan penilaian algoritmik berdasarkan kasus uji maintainer adalah 38%…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
METR:Research(网页)
Kategori
Makalah & Riset
Skor AI
61
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

METR 用人工评审对照算法评分,给出量化证据说明测试类基准为何高估智能体的真实软件工程能力。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Pembaruan penelitian METR: penilaian algoritmik melebih-lebihkan kemampuan rekayasa perangkat lunak nyata agen AI. 13 Agustus 2025. https://new.nat6.net/id/news/cmtyo7nb703vbrog0wobc9ksx/

Lihat semua →