Pembaruan penelitian METR: penilaian algoritmik melebih-lebihkan kemampuan rekayasa perangkat lunak nyata agen AI
Judul asli:Research Update: Algorithmic vs. Holistic Evaluation
Ringkasan AI
METR mengevaluasi Claude 3.7 Sonnet (agen Inspect ReAct) pada 18 issue nyata di dua repositori stdlib-js dan hypothesis; tingkat keberhasilan penilaian algoritmik berdasarkan kasus uji maintainer adalah 38% (±19%), tetapi dari 15 PR yang ditinjau manusia, tidak ada satu pun yang dapat langsung digabungkan.
Poin utama
- METR mengevaluasi Claude 3.
- 7 Sonnet (agen Inspect ReAct) pada 18 issue nyata di dua repositori stdlib-js dan hypothesis
- tingkat keberhasilan penilaian algoritmik berdasarkan kasus uji maintainer adalah 38%…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- METR:Research(网页)
- Kategori
- Makalah & Riset
- Skor AI
- 61
METR 用人工评审对照算法评分,给出量化证据说明测试类基准为何高估智能体的真实软件工程能力。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Pembaruan penelitian METR: penilaian algoritmik melebih-lebihkan kemampuan rekayasa perangkat lunak nyata agen AI. 13 Agustus 2025. https://new.nat6.net/id/news/cmtyo7nb703vbrog0wobc9ksx/