ITBench-AA: các mô hình ngôn ngữ lớn tiên phong đều dưới 50% trong bài kiểm tra chuẩn tác vụ IT doanh nghiệp đầu tiên
Tiêu đề gốc:ITBench-AA: Frontier Models Score Below 50% on the First Benchmark for Agentic Enterprise IT Tasks — by Artificial Analysis and IBM
Tóm tắt AI
Bài kiểm tra chuẩn ITBench-AA SRE do Artificial Analysis và IBM công bố cho thấy mọi mô hình ngôn ngữ lớn tiên phong đều không vượt 50%. Claude Opus 4.7 (suy luận thích ứng, nỗ lực tối đa) dẫn đầu với 47%, GPT-5.5 (xhigh) và Qwen3.7 Max lần lượt đạt 46% và 42%. Bài kiểm tra gồm 59 tác vụ tác nhân cần điều tra qua lệnh Shell ảnh chụp sự kiện Kubernetes và gửi chẩn đoán nguyên nhân gốc. Phát hiện chính là số vòng suy luận của các mô hình chênh gần 3 lần, nhưng quỹ đạo dài hơn không chuyển thành độ chính xác cao hơn; mô hình điều tra quá mức bị phạt do gửi báo cáo sai. Về chi phí, mô hình mã nguồn mở Gemma 4 31B (Reasoning) đạt 37% với chi phí 0,14 USD/tác vụ, tốt hơn các mô hình đóng chi phí cao hơn nhưng điểm thấp hơn.
Thông tin chính
- Bài kiểm tra chuẩn ITBench-AA SRE do Artificial Analysis và IBM công bố cho thấy mọi mô hình ngôn…
- Claude Opus 4.
- 7 (suy luận thích ứng,nỗ lực tối đa) dẫn đầu với 47%,GPT-5.
- 5 (xhigh) và Qwen3.
- 7 Max lần lượt đạt 46% và 42%.
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- Hugging Face 社区博客(混合发现)
- Danh mục
- Bài báo & nghiên cứu
- Điểm AI
- 70
IT运维这事儿,AI还是新手。ITBench-AA这份基准把Claude Opus 4.7逼到47%,开源模型GLM-5.1却用五分之一成本拿到40%,企业场景性价比可能不在闭源那边。
Thực thể liên quan
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: ITBench-AA: các mô hình ngôn ngữ lớn tiên phong đều dưới 50% trong bài kiểm tra chuẩn tác vụ IT doanh nghiệp đầu tiên. 28 tháng 5 2026. https://new.nat6.net/vi/news/cmpobyo1b04qeslv4jzefv5eu/