Claude 3.5 Sonnet lập kỷ lục mới trên bài kiểm tra chuẩn SWE-bench Verified
Tiêu đề gốc:Raising the bar on SWE-bench Verified with Claude 3.5 Sonnet
Tóm tắt AI
Phiên bản nâng cấp Claude 3.5 Sonnet đạt tỷ lệ giải quyết 49% trên bài kiểm tra chuẩn đánh giá kỹ thuật phần mềm SWE-bench Verified, vượt qua mức 45% của mô hình tốt nhất trước đó. Bài kiểm tra chuẩn này đánh giá khả năng hoàn thành nhiệm vụ kỹ thuật phần mềm của mô hình AI thông qua các vấn đề GitHub thực tế, yêu cầu mô hình hiểu, sửa đổi và kiểm tra mã trong môi trường nhất định, cuối cùng xác minh bằng các bài kiểm tra đơn vị gốc. Thiết kế tác nhân AI do nhóm Claude xây dựng rất đơn giản, chỉ bao gồm lời nhắc, công cụ Bash và công cụ chỉnh sửa, trao cho mô hình không gian tự đánh giá đầy đủ để giải quyết vấn đề bằng các bước linh hoạt. Hiện chưa có mô hình nào vượt qua tỷ lệ giải quyết 50% trên bài kiểm tra chuẩn này.
Thông tin chính
- Phiên bản nâng cấp Claude 3.
- 5 Sonnet đạt tỷ lệ giải quyết 49% trên bài kiểm tra chuẩn đánh giá kỹ thuật phần mềm SWE-bench…
- Bài kiểm tra chuẩn này đánh giá khả năng hoàn thành nhiệm vụ kỹ thuật phần mềm của mô hình AI…
- Thiết kế tác nhân AI do nhóm Claude xây dựng rất đơn giản,chỉ bao gồm lời nhắc,công cụ Bash và…
- Hiện chưa có mô hình nào vượt qua tỷ lệ giải quyết 50% trên bài kiểm tra chuẩn này.
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Danh mục
- Hướng dẫn & mẹo
- Điểm AI
- 72
Anthropic 把自家 SWE-bench agent 的 prompt、工具设计和踩坑经验全公开了,做 coding agent 的人可以直接抄作业,比看十篇二手解读都管用。
Thực thể liên quan
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: Claude 3.5 Sonnet lập kỷ lục mới trên bài kiểm tra chuẩn SWE-bench Verified. 6 tháng 1 2025. https://new.nat6.net/vi/news/cmorb7ml1008rslhfl2itv1d3/