บทความและงานวิจัย

เก้าผู้ตัดสิน สองคะแนนที่มีประสิทธิภาพ: ความสัมพันธ์ของข้อผิดพลาดบั่นทอนคณะผู้ตัดสิน LLM

หัวข้อต้นฉบับ:Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels

สรุปโดย AI

ทีมวิจัยแมชชีนเลิร์นนิงของ Apple พบว่าคณะผู้ตัดสินแบบ LLM-as-a-judge ถูกจำกัดอย่างรุนแรงจากความสัมพันธ์สูงระหว่างโมเดล การทดสอบโมเดลภาษาขนาดใหญ่แนวหน้า 9 ตัวจาก 7 ตระกูลบนชุดข้อมูลการอนุมานภาษาธรรมชาติ 3 ชุดแสดงให้เห็นว่า ผู้ตัดสิน 9 คนให้ข้อมูลเทียบเท่าคะแนนอิสระเพียงประมาณ 2 คะแนน ความแม่นยำของคณะต่ำกว่าค่าที่ควรเป็นของการลงคะแนนอิสระ 8–22 จุดเปอร์เซ็นต์ และโมเดลเดี่ยวที่ดีที่สุดมีประสิทธิภาพเทียบเท่าหรือเหนือกว่าคณะทั้งหมด การเพิ่มจำนวนผู้ตัดสินหรือปรับปรุงอัลกอริทึมรวมผลได้ผลน้อยมาก แม้อนุญาตให้อัลกอริทึมเข้าถึงคำตอบที่ถูกต้องก็ลดช่องว่างได้เพียงไม่เกิน 11% ข้อสรุปนี้ได้รับการยืนยันในหลายรูปแบบพรอมต์ การตั้งค่าอุณหภูมิ และงานด้านความชอบ คอขวดอยู่ที่ความสัมพันธ์ระหว่างผู้ตัดสิน ไม่ใช่อัลกอริทึมรวมผล

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
Apple Machine Learning Research(RSS)
หมวดหมู่
บทความและงานวิจัย
คะแนน AI
68
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

这篇Apple论文揭示了一个反直觉的事实:在LLM评估面板中,9个法官实际上只提供约2个独立票的信息,因为模型会犯相似错误。这解释了为何简单聚合面板往往不如最佳单模型,做评估的团队必须重视法官相关性。

เอนทิตีที่เกี่ยวข้อง

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: เก้าผู้ตัดสิน สองคะแนนที่มีประสิทธิภาพ: ความสัมพันธ์ของข้อผิดพลาดบั่นทอนคณะผู้ตัดสิน LLM 23 มิถุนายน 2026 https://new.nat6.net/th/news/cmqr02j580f8oslp5i6wajucu/

ดูทั้งหมด →