Bài báo & nghiên cứu

METR cập nhật nghiên cứu: điểm thuật toán đánh giá cao năng lực kỹ thuật phần mềm thực tế của tác nhân AI

Tiêu đề gốc:Research Update: Algorithmic vs. Holistic Evaluation

Tóm tắt AI

METR đánh giá Claude 3.7 Sonnet (Inspect ReAct agent) trên 18 issue thực tế của hai kho stdlib-js và hypothesis, tỷ lệ thành công theo thuật toán dựa trên test case của người bảo trì là 38% (±19%), nhưng trong 15 PR được đánh giá thủ công không có PR nào có thể hợp nhất trực tiếp.

Thông tin chính

  • METR đánh giá Claude 3.
  • 7 Sonnet (Inspect ReAct agent) trên 18 issue thực tế của hai kho stdlib-js và hypothesis,tỷ lệ…
  • nhưng trong 15 PR được đánh giá thủ công không có PR nào có thể hợp nhất trực tiếp.

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
METR:Research(网页)
Danh mục
Bài báo & nghiên cứu
Điểm AI
61
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

METR 用人工评审对照算法评分,给出量化证据说明测试类基准为何高估智能体的真实软件工程能力。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: METR cập nhật nghiên cứu: điểm thuật toán đánh giá cao năng lực kỹ thuật phần mềm thực tế của tác nhân AI. 13 tháng 8 2025. https://new.nat6.net/vi/news/cmtyo7nb703vbrog0wobc9ksx/

Xem tất cả →