ITBench-AA: โมเดลภาษาขนาดใหญ่แนวหน้าทุกตัวได้คะแนนต่ำกว่า 50% ในการทดสอบ基準งานไอทีองค์กรแบบเอเจนต์ครั้งแรก
หัวข้อต้นฉบับ:ITBench-AA: Frontier Models Score Below 50% on the First Benchmark for Agentic Enterprise IT Tasks — by Artificial Analysis and IBM
สรุปโดย AI
การทดสอบ基準 ITBench-AA SRE ที่เปิดตัวโดย Artificial Analysis และ IBM แสดงให้เห็นว่าโมเดลภาษาขนาดใหญ่แนวหน้าทุกตัวได้คะแนนไม่เกิน 50% Claude Opus 4.7 (การอนุมานแบบปรับตัว ความพยายามสูงสุด) นำด้วย 47% ขณะที่ GPT-5.5 (xhigh) และ Qwen3.7 Max ได้ 46% และ 42% ตามลำดับ การทดสอบประกอบด้วยงานเอเจนต์ 59 งานที่ต้องตรวจสอบ snapshot เหตุการณ์ Kubernetes ผ่านคำสั่ง Shell และส่งการวินิจฉัยสาเหตุราก การค้นพบสำคัญคือจำนวนรอบการอนุมานของโมเดลแตกต่างกันเกือบ 3 เท่า แต่เส้นทางการทำงานที่ยาวขึ้นไม่ได้นำไปสู่ความแม่นยำที่สูงขึ้น โมเดลที่ตรวจสอบมากเกินไปจะถูกลงโทษจากการส่งผลบวกลวง ในด้านต้นทุน โมเดลโอเพนซอร์ส Gemma 4 31B (Reasoning) ได้คะแนน 37% ด้วยต้นทุน $0.14 ต่องาน ดีกว่าโมเดลปิดที่มีต้นทุนสูงกว่าแต่ได้คะแนนต่ำกว่า
ข้อมูลสำคัญ
- การทดสอบ基準 ITBench-AA SRE ที่เปิดตัวโดย Artificial Analysis และ IBM แสดงให้เห็นว่าโมเดลภาษาขนาดใหญ่…
- 7 (การอนุมานแบบปรับตัว ความพยายามสูงสุด) นำด้วย 47% ขณะที่ GPT-5.
- 5 (xhigh) และ Qwen3.
- 7 Max ได้ 46% และ 42% ตามลำดับ การทดสอบประกอบด้วยงานเอเจนต์ 59 งานที่ต้องตรวจสอบ snapshot…
- 14 ต่องาน ดีกว่าโมเดลปิดที่มีต้นทุนสูงกว่าแต่ได้คะแนนต่ำกว่า
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- Hugging Face 社区博客(混合发现)
- หมวดหมู่
- บทความและงานวิจัย
- คะแนน AI
- 70
IT运维这事儿,AI还是新手。ITBench-AA这份基准把Claude Opus 4.7逼到47%,开源模型GLM-5.1却用五分之一成本拿到40%,企业场景性价比可能不在闭源那边。
เอนทิตีที่เกี่ยวข้อง
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: ITBench-AA: โมเดลภาษาขนาดใหญ่แนวหน้าทุกตัวได้คะแนนต่ำกว่า 50% ในการทดสอบ基準งานไอทีองค์กรแบบเอเจนต์ครั้งแรก 28 พฤษภาคม 2026 https://new.nat6.net/th/news/cmpobyo1b04qeslv4jzefv5eu/