Kertas penyelidikan

ITBench-AA: Model bahasa besar terkemuka semua mendapat skor di bawah 50% dalam penanda aras tugas IT perusahaan ejen pertama

Tajuk asal:ITBench-AA: Frontier Models Score Below 50% on the First Benchmark for Agentic Enterprise IT Tasks — by Artificial Analysis and IBM

Ringkasan AI

Penanda aras ITBench-AA SRE yang diperkenalkan oleh Artificial Analysis dan IBM menunjukkan semua model bahasa besar terkemuka tidak melebihi 50%. Claude Opus 4.7 (penaakulan adaptif, usaha maksimum) mendahului dengan 47%, GPT-5.5 (xhigh) dan Qwen3.7 Max masing-masing mendapat 46% dan 42%. Ujian ini mengandungi 59 tugas ejen yang memerlukan penyiasatan snapshot peristiwa Kubernetes melalui arahan Shell dan penyerahan diagnosis punca akar. Penemuan utama ialah perbezaan pusingan penaakulan model hampir 3 kali ganda, tetapi trajektori yang lebih panjang tidak menghasilkan ketepatan yang lebih tinggi, model yang menyiasat secara berlebihan akan dihukum kerana menyerahkan laporan palsu. Dari segi kos, model sumber terbuka Gemma 4 31B (Reasoning) mendapat skor 37% dengan kos $0.14 setiap tugas, lebih baik daripada model tertutup yang lebih mahal tetapi mendapat skor lebih rendah.

Maklumat penting

  • Penanda aras ITBench-AA SRE yang diperkenalkan oleh Artificial Analysis dan IBM menunjukkan semua…
  • Claude Opus 4.
  • 7 (penaakulan adaptif,usaha maksimum) mendahului dengan 47%,GPT-5.
  • 5 (xhigh) dan Qwen3.
  • 7 Max masing-masing mendapat 46% dan 42%.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
Hugging Face 社区博客(混合发现)
Kategori
Kertas penyelidikan
Skor AI
70
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

IT运维这事儿,AI还是新手。ITBench-AA这份基准把Claude Opus 4.7逼到47%,开源模型GLM-5.1却用五分之一成本拿到40%,企业场景性价比可能不在闭源那边。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: ITBench-AA: Model bahasa besar terkemuka semua mendapat skor di bawah 50% dalam penanda aras tugas IT perusahaan ejen pertama. 28 Mei 2026. https://new.nat6.net/ms/news/cmpobyo1b04qeslv4jzefv5eu/

Lihat Semua →