Bài báo & nghiên cứu

Định lượng nhiễu hạ tầng trong đánh giá mã hóa bằng tác nhân

Tiêu đề gốc:Quantifying infrastructure noise in agentic coding evals

Tóm tắt AI

Nghiên cứu phát hiện trong các bài đánh giá chuẩn mã hóa bằng tác nhân như SWE-bench, ảnh hưởng của khác biệt cấu hình hạ tầng đến điểm số mô hình có thể vượt qua chênh lệch nhỏ giữa các mô hình hàng đầu trên bảng xếp hạng. Thử nghiệm nội bộ cho thấy trên Terminal-Bench 2.0, tỷ lệ thành công chênh lệch 6% giữa cấu hình tài nguyên nghiêm ngặt nhất và lỏng lẻo nhất. Hạn chế tài nguyên nghiêm ngặt khiến gần 6% tác vụ thất bại do container bị chấm dứt bất ngờ, trong khi cấu hình lỏng lẻo giảm tỷ lệ lỗi này xuống 0,5%. Khi dư lượng tài nguyên vượt 3 lần thông số chuẩn, tác nhân thậm chí có thể nhờ tài nguyên bổ sung hoàn thành tác vụ vốn không thể giải quyết. Điều này cho thấy môi trường đánh giá không chỉ ảnh hưởng đến độ ổn định kiểm tra mà còn thay đổi chiều năng lực thực tế mà bài đánh giá chuẩn đo lường.

Thông tin chính

  • Nghiên cứu phát hiện trong các bài đánh giá chuẩn mã hóa bằng tác nhân như SWE-bench,ảnh hưởng của…
  • Thử nghiệm nội bộ cho thấy trên Terminal-Bench 2.
  • 0,tỷ lệ thành công chênh lệch 6% giữa cấu hình tài nguyên nghiêm ngặt nhất và lỏng lẻo nhất.
  • Hạn chế tài nguyên nghiêm ngặt khiến gần 6% tác vụ thất bại do container bị chấm dứt bất ngờ,trong…
  • Khi dư lượng tài nguyên vượt 3 lần thông số chuẩn,tác nhân thậm chí có thể nhờ tài nguyên bổ sung…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
Anthropic:Engineering(事故复盘 + 工程实践 · 网页)
Danh mục
Bài báo & nghiên cứu
Điểm AI
74
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

Anthropic 用自家数据证明,agentic coding benchmark 的排行榜差距可能只是硬件配置差异而非模型能力差距,3 个百分点以内的领先都该打问号。做模型选型的人别再迷信那几个百分点了。

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Định lượng nhiễu hạ tầng trong đánh giá mã hóa bằng tác nhân. 5 tháng 2 2026. https://new.nat6.net/vi/news/cmorb7ml0008bslhfiqfwufv7/

Xem tất cả →