บทความและงานวิจัย

ITBench-AA: โมเดลภาษาขนาดใหญ่แนวหน้าทุกตัวได้คะแนนต่ำกว่า 50% ในการทดสอบ基準งานไอทีองค์กรแบบเอเจนต์ครั้งแรก

หัวข้อต้นฉบับ:ITBench-AA: Frontier Models Score Below 50% on the First Benchmark for Agentic Enterprise IT Tasks — by Artificial Analysis and IBM

สรุปโดย AI

การทดสอบ基準 ITBench-AA SRE ที่เปิดตัวโดย Artificial Analysis และ IBM แสดงให้เห็นว่าโมเดลภาษาขนาดใหญ่แนวหน้าทุกตัวได้คะแนนไม่เกิน 50% Claude Opus 4.7 (การอนุมานแบบปรับตัว ความพยายามสูงสุด) นำด้วย 47% ขณะที่ GPT-5.5 (xhigh) และ Qwen3.7 Max ได้ 46% และ 42% ตามลำดับ การทดสอบประกอบด้วยงานเอเจนต์ 59 งานที่ต้องตรวจสอบ snapshot เหตุการณ์ Kubernetes ผ่านคำสั่ง Shell และส่งการวินิจฉัยสาเหตุราก การค้นพบสำคัญคือจำนวนรอบการอนุมานของโมเดลแตกต่างกันเกือบ 3 เท่า แต่เส้นทางการทำงานที่ยาวขึ้นไม่ได้นำไปสู่ความแม่นยำที่สูงขึ้น โมเดลที่ตรวจสอบมากเกินไปจะถูกลงโทษจากการส่งผลบวกลวง ในด้านต้นทุน โมเดลโอเพนซอร์ส Gemma 4 31B (Reasoning) ได้คะแนน 37% ด้วยต้นทุน $0.14 ต่องาน ดีกว่าโมเดลปิดที่มีต้นทุนสูงกว่าแต่ได้คะแนนต่ำกว่า

ข้อมูลสำคัญ

  • การทดสอบ基準 ITBench-AA SRE ที่เปิดตัวโดย Artificial Analysis และ IBM แสดงให้เห็นว่าโมเดลภาษาขนาดใหญ่…
  • 7 (การอนุมานแบบปรับตัว ความพยายามสูงสุด) นำด้วย 47% ขณะที่ GPT-5.
  • 5 (xhigh) และ Qwen3.
  • 7 Max ได้ 46% และ 42% ตามลำดับ การทดสอบประกอบด้วยงานเอเจนต์ 59 งานที่ต้องตรวจสอบ snapshot…
  • 14 ต่องาน ดีกว่าโมเดลปิดที่มีต้นทุนสูงกว่าแต่ได้คะแนนต่ำกว่า

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
Hugging Face 社区博客(混合发现)
หมวดหมู่
บทความและงานวิจัย
คะแนน AI
70
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

IT运维这事儿,AI还是新手。ITBench-AA这份基准把Claude Opus 4.7逼到47%,开源模型GLM-5.1却用五分之一成本拿到40%,企业场景性价比可能不在闭源那边。

เอนทิตีที่เกี่ยวข้อง

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: ITBench-AA: โมเดลภาษาขนาดใหญ่แนวหน้าทุกตัวได้คะแนนต่ำกว่า 50% ในการทดสอบ基準งานไอทีองค์กรแบบเอเจนต์ครั้งแรก 28 พฤษภาคม 2026 https://new.nat6.net/th/news/cmpobyo1b04qeslv4jzefv5eu/

ดูทั้งหมด →