METR cập nhật nghiên cứu: điểm thuật toán đánh giá cao năng lực kỹ thuật phần mềm thực tế của tác nhân AI
Tiêu đề gốc:Research Update: Algorithmic vs. Holistic Evaluation
Tóm tắt AI
METR đánh giá Claude 3.7 Sonnet (Inspect ReAct agent) trên 18 issue thực tế của hai kho stdlib-js và hypothesis, tỷ lệ thành công theo thuật toán dựa trên test case của người bảo trì là 38% (±19%), nhưng trong 15 PR được đánh giá thủ công không có PR nào có thể hợp nhất trực tiếp.
Thông tin chính
- METR đánh giá Claude 3.
- 7 Sonnet (Inspect ReAct agent) trên 18 issue thực tế của hai kho stdlib-js và hypothesis,tỷ lệ…
- nhưng trong 15 PR được đánh giá thủ công không có PR nào có thể hợp nhất trực tiếp.
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- METR:Research(网页)
- Danh mục
- Bài báo & nghiên cứu
- Điểm AI
- 61
METR 用人工评审对照算法评分,给出量化证据说明测试类基准为何高估智能体的真实软件工程能力。
Thực thể liên quan
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: METR cập nhật nghiên cứu: điểm thuật toán đánh giá cao năng lực kỹ thuật phần mềm thực tế của tác nhân AI. 13 tháng 8 2025. https://new.nat6.net/vi/news/cmtyo7nb703vbrog0wobc9ksx/