ITBench-AA: model bahasa besar terdepan semuanya mendapat skor di bawah 50% pada tolok ukur tugas IT perusahaan agen pertama
Judul asli:ITBench-AA: Frontier Models Score Below 50% on the First Benchmark for Agentic Enterprise IT Tasks — by Artificial Analysis and IBM
Ringkasan AI
Tolok ukur ITBench-AA SRE yang diluncurkan oleh Artificial Analysis dan IBM menunjukkan bahwa semua model bahasa besar terdepan tidak melampaui 50%. Claude Opus 4.7 (penalaran adaptif, upaya maksimal) memimpin dengan 47%, GPT-5.5 (xhigh) dan Qwen3.7 Max masing-masing mendapat 46% dan 42%. Tes ini mencakup 59 tugas agen yang mengharuskan penyelidikan snapshot peristiwa Kubernetes melalui perintah Shell dan pengiriman diagnosis akar masalah. Temuan kunci adalah perbedaan putaran penalaran model mencapai hampir 3 kali lipat, tetapi lintasan yang lebih panjang tidak berarti akurasi yang lebih tinggi; model yang menyelidiki berlebihan akan dihukum karena mengirimkan positif palsu. Dari sisi biaya, model sumber terbuka Gemma 4 31B (Reasoning) memperoleh skor 37% dengan biaya $0,14 per tugas, lebih baik daripada model tertutup yang biayanya lebih tinggi tetapi skornya lebih rendah.
Poin utama
- Tolok ukur ITBench-AA SRE yang diluncurkan oleh Artificial Analysis dan IBM menunjukkan bahwa…
- Claude Opus 4.
- 7 (penalaran adaptif,upaya maksimal) memimpin dengan 47%,GPT-5.
- 5 (xhigh) dan Qwen3.
- 7 Max masing-masing mendapat 46% dan 42%.
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- Hugging Face 社区博客(混合发现)
- Kategori
- Makalah & Riset
- Skor AI
- 70
IT运维这事儿,AI还是新手。ITBench-AA这份基准把Claude Opus 4.7逼到47%,开源模型GLM-5.1却用五分之一成本拿到40%,企业场景性价比可能不在闭源那边。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: ITBench-AA: model bahasa besar terdepan semuanya mendapat skor di bawah 50% pada tolok ukur tugas IT perusahaan agen pertama. 28 Mei 2026. https://new.nat6.net/id/news/cmpobyo1b04qeslv4jzefv5eu/