Bài báo & nghiên cứu

OpenAI kiểm toán SWE-Bench Pro phát hiện khoảng 30% tác vụ đánh giá có lỗi

Tiêu đề gốc:Separating signal from noise in coding evaluations

Tóm tắt AI

OpenAI thực hiện kiểm toán chi tiết benchmark lập trình SWE-Bench Pro và phát hiện khoảng 30% tác vụ có lỗi. Trong tập con công khai 731 tác vụ, tỷ lệ vượt qua của các mô hình tiên tiến tăng từ 23,3% lên 80,3% trong tám tháng, nhưng kiểm tra chất lượng dữ liệu cho thấy nhiều tác vụ có kiểm thử quá nghiêm ngặt, mô tả prompt thiếu, độ phủ kiểm thử không đầy đủ hoặc prompt gây hiểu nhầm. OpenAI khuyến nghị nhà phát triển mô hình xem xét kỹ kết quả đánh giá, đồng thời chỉ ra tính hữu ích ngày càng tăng của tác nhân AI trong kiểm tra chất lượng dữ liệu quy mô lớn.

Thông tin chính

  • OpenAI thực hiện kiểm toán chi tiết benchmark lập trình SWE-Bench Pro và phát hiện khoảng 30% tác…
  • Trong tập con công khai 731 tác vụ,tỷ lệ vượt qua của các mô hình tiên tiến tăng từ 23,3% lên…
  • OpenAI khuyến nghị nhà phát triển mô hình xem xét kỹ kết quả đánh giá,đồng thời chỉ ra tính hữu…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
OpenAI:官网动态(RSS · 排除企业/客户案例)
Danh mục
Bài báo & nghiên cứu
Điểm AI
70
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

OpenAI 自己审计了 SWE-Bench Pro,发现三成任务有缺陷,这个基准给出来的分数可能要打问号,做模型评测和选型的人该认真看看。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: OpenAI kiểm toán SWE-Bench Pro phát hiện khoảng 30% tác vụ đánh giá có lỗi. 8 tháng 7 2026. https://new.nat6.net/vi/news/cmrcigf5k01bqihx54i8oph9u/

Xem tất cả →