Vì sao SWE-bench Verified không còn đo lường năng lực mã hóa tiên tiến
Tóm tắt AI
OpenAI tuyên bố ngừng dùng chuẩn SWE-bench Verified để đánh giá năng lực mã hóa tiên tiến. Chuẩn này được xây dựng từ các vấn đề lịch sử trên GitHub, phân bố nhiệm vụ không còn phản ánh chính xác loại vấn đề thực tế mà trợ lý mã hóa AI hiện nay cần giải quyết. Khi hiệu năng mô hình tăng, bộ kiểm thử chuẩn dần bão hòa, độ phân biệt giảm, hiệu suất mô hình hiện tại đã gần mức con người. Do đó, nhóm sẽ chuyển sang phương pháp đánh giá mới có độ thách thức và độ phức tạp thực tế cao hơn.
Thông tin chính
- OpenAI tuyên bố ngừng dùng chuẩn SWE-bench Verified để đánh giá năng lực mã hóa tiên tiến.
- Chuẩn này được xây dựng từ các vấn đề lịch sử trên GitHub,phân bố nhiệm vụ không còn phản ánh…
- Khi hiệu năng mô hình tăng,bộ kiểm thử chuẩn dần bão hòa,độ phân biệt giảm,hiệu suất mô hình hiện…
- Do đó,nhóm sẽ chuyển sang phương pháp đánh giá mới có độ thách thức và độ phức tạp thực tế cao hơn.
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Danh mục
- Quan điểm & bình luận
- Điểm AI
- 71
OpenAI 亲自给 SWE-bench Verified 判了死刑,这比任何第三方评测都有说服力。做 coding agent 选型的人该认真想想,你的 benchmark 体系是不是也该换了。
Thực thể liên quan
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: Vì sao SWE-bench Verified không còn đo lường năng lực mã hóa tiên tiến. 27 tháng 4 2026. https://new.nat6.net/vi/news/cmog2im0800vbslr37vxebh5g/