Makalah & Riset

ITBench-AA: model bahasa besar terdepan semuanya mendapat skor di bawah 50% pada tolok ukur tugas IT perusahaan agen pertama

Judul asli:ITBench-AA: Frontier Models Score Below 50% on the First Benchmark for Agentic Enterprise IT Tasks — by Artificial Analysis and IBM

Ringkasan AI

Tolok ukur ITBench-AA SRE yang diluncurkan oleh Artificial Analysis dan IBM menunjukkan bahwa semua model bahasa besar terdepan tidak melampaui 50%. Claude Opus 4.7 (penalaran adaptif, upaya maksimal) memimpin dengan 47%, GPT-5.5 (xhigh) dan Qwen3.7 Max masing-masing mendapat 46% dan 42%. Tes ini mencakup 59 tugas agen yang mengharuskan penyelidikan snapshot peristiwa Kubernetes melalui perintah Shell dan pengiriman diagnosis akar masalah. Temuan kunci adalah perbedaan putaran penalaran model mencapai hampir 3 kali lipat, tetapi lintasan yang lebih panjang tidak berarti akurasi yang lebih tinggi; model yang menyelidiki berlebihan akan dihukum karena mengirimkan positif palsu. Dari sisi biaya, model sumber terbuka Gemma 4 31B (Reasoning) memperoleh skor 37% dengan biaya $0,14 per tugas, lebih baik daripada model tertutup yang biayanya lebih tinggi tetapi skornya lebih rendah.

Poin utama

  • Tolok ukur ITBench-AA SRE yang diluncurkan oleh Artificial Analysis dan IBM menunjukkan bahwa…
  • Claude Opus 4.
  • 7 (penalaran adaptif,upaya maksimal) memimpin dengan 47%,GPT-5.
  • 5 (xhigh) dan Qwen3.
  • 7 Max masing-masing mendapat 46% dan 42%.

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Hugging Face 社区博客(混合发现)
Kategori
Makalah & Riset
Skor AI
70
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

IT运维这事儿,AI还是新手。ITBench-AA这份基准把Claude Opus 4.7逼到47%,开源模型GLM-5.1却用五分之一成本拿到40%,企业场景性价比可能不在闭源那边。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: ITBench-AA: model bahasa besar terdepan semuanya mendapat skor di bawah 50% pada tolok ukur tugas IT perusahaan agen pertama. 28 Mei 2026. https://new.nat6.net/id/news/cmpobyo1b04qeslv4jzefv5eu/

Lihat semua →