เก้าผู้ตัดสิน สองคะแนนที่มีประสิทธิภาพ: ความสัมพันธ์ของข้อผิดพลาดบั่นทอนคณะผู้ตัดสิน LLM
หัวข้อต้นฉบับ:Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels
สรุปโดย AI
ทีมวิจัยแมชชีนเลิร์นนิงของ Apple พบว่าคณะผู้ตัดสินแบบ LLM-as-a-judge ถูกจำกัดอย่างรุนแรงจากความสัมพันธ์สูงระหว่างโมเดล การทดสอบโมเดลภาษาขนาดใหญ่แนวหน้า 9 ตัวจาก 7 ตระกูลบนชุดข้อมูลการอนุมานภาษาธรรมชาติ 3 ชุดแสดงให้เห็นว่า ผู้ตัดสิน 9 คนให้ข้อมูลเทียบเท่าคะแนนอิสระเพียงประมาณ 2 คะแนน ความแม่นยำของคณะต่ำกว่าค่าที่ควรเป็นของการลงคะแนนอิสระ 8–22 จุดเปอร์เซ็นต์ และโมเดลเดี่ยวที่ดีที่สุดมีประสิทธิภาพเทียบเท่าหรือเหนือกว่าคณะทั้งหมด การเพิ่มจำนวนผู้ตัดสินหรือปรับปรุงอัลกอริทึมรวมผลได้ผลน้อยมาก แม้อนุญาตให้อัลกอริทึมเข้าถึงคำตอบที่ถูกต้องก็ลดช่องว่างได้เพียงไม่เกิน 11% ข้อสรุปนี้ได้รับการยืนยันในหลายรูปแบบพรอมต์ การตั้งค่าอุณหภูมิ และงานด้านความชอบ คอขวดอยู่ที่ความสัมพันธ์ระหว่างผู้ตัดสิน ไม่ใช่อัลกอริทึมรวมผล
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- Apple Machine Learning Research(RSS)
- หมวดหมู่
- บทความและงานวิจัย
- คะแนน AI
- 68
这篇Apple论文揭示了一个反直觉的事实:在LLM评估面板中,9个法官实际上只提供约2个独立票的信息,因为模型会犯相似错误。这解释了为何简单聚合面板往往不如最佳单模型,做评估的团队必须重视法官相关性。
เอนทิตีที่เกี่ยวข้อง
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: เก้าผู้ตัดสิน สองคะแนนที่มีประสิทธิภาพ: ความสัมพันธ์ของข้อผิดพลาดบั่นทอนคณะผู้ตัดสิน LLM 23 มิถุนายน 2026 https://new.nat6.net/th/news/cmqr02j580f8oslp5i6wajucu/