Bài báo & nghiên cứu

ITBench-AA: các mô hình ngôn ngữ lớn tiên phong đều dưới 50% trong bài kiểm tra chuẩn tác vụ IT doanh nghiệp đầu tiên

Tiêu đề gốc:ITBench-AA: Frontier Models Score Below 50% on the First Benchmark for Agentic Enterprise IT Tasks — by Artificial Analysis and IBM

Tóm tắt AI

Bài kiểm tra chuẩn ITBench-AA SRE do Artificial Analysis và IBM công bố cho thấy mọi mô hình ngôn ngữ lớn tiên phong đều không vượt 50%. Claude Opus 4.7 (suy luận thích ứng, nỗ lực tối đa) dẫn đầu với 47%, GPT-5.5 (xhigh) và Qwen3.7 Max lần lượt đạt 46% và 42%. Bài kiểm tra gồm 59 tác vụ tác nhân cần điều tra qua lệnh Shell ảnh chụp sự kiện Kubernetes và gửi chẩn đoán nguyên nhân gốc. Phát hiện chính là số vòng suy luận của các mô hình chênh gần 3 lần, nhưng quỹ đạo dài hơn không chuyển thành độ chính xác cao hơn; mô hình điều tra quá mức bị phạt do gửi báo cáo sai. Về chi phí, mô hình mã nguồn mở Gemma 4 31B (Reasoning) đạt 37% với chi phí 0,14 USD/tác vụ, tốt hơn các mô hình đóng chi phí cao hơn nhưng điểm thấp hơn.

Thông tin chính

  • Bài kiểm tra chuẩn ITBench-AA SRE do Artificial Analysis và IBM công bố cho thấy mọi mô hình ngôn…
  • Claude Opus 4.
  • 7 (suy luận thích ứng,nỗ lực tối đa) dẫn đầu với 47%,GPT-5.
  • 5 (xhigh) và Qwen3.
  • 7 Max lần lượt đạt 46% và 42%.

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
Hugging Face 社区博客(混合发现)
Danh mục
Bài báo & nghiên cứu
Điểm AI
70
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

IT运维这事儿,AI还是新手。ITBench-AA这份基准把Claude Opus 4.7逼到47%,开源模型GLM-5.1却用五分之一成本拿到40%,企业场景性价比可能不在闭源那边。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: ITBench-AA: các mô hình ngôn ngữ lớn tiên phong đều dưới 50% trong bài kiểm tra chuẩn tác vụ IT doanh nghiệp đầu tiên. 28 tháng 5 2026. https://new.nat6.net/vi/news/cmpobyo1b04qeslv4jzefv5eu/

Xem tất cả →