Sembilan hakim, dua undi berkesan: ralat berkorelasi melemahkan panel penilai LLM
Tajuk asal:Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels
Ringkasan AI
Pasukan penyelidik pembelajaran mesin Apple mendapati panel LLM-as-a-judge sangat terhad kerana korelasi tinggi antara model. Ujian terhadap 9 model bahasa besar terkemuka daripada 7 keluarga model pada 3 set data penaakulan bahasa semula jadi menunjukkan 9 hakim sebenarnya hanya menyediakan maklumat kira-kira 2 undi bebas, ketepatan panel adalah 8–22 mata peratusan lebih rendah daripada nilai ideal undi bebas, dan prestasi model tunggal terbaik telah menyamai atau melebihi keseluruhan panel. Menambah bilangan hakim atau menambah baik algoritma agregasi memberi kesan yang sangat kecil, malah membenarkan algoritma memperoleh jawapan betul hanya dapat mengurangkan jurang sehingga 11%. Kesimpulan ini disahkan dalam pelbagai variasi prompt, tetapan suhu dan tugas keutamaan, dan halangan utama ialah korelasi antara hakim, bukan algoritma agregasi.
Maklumat penting
- Pasukan penyelidik pembelajaran mesin Apple mendapati panel LLM-as-a-judge sangat terhad kerana…
- Ujian terhadap 9 model bahasa besar terkemuka daripada 7 keluarga model pada 3 set data penaakulan…
- Menambah bilangan hakim atau menambah baik algoritma agregasi memberi kesan yang sangat…
- Kesimpulan ini disahkan dalam pelbagai variasi prompt,tetapan suhu dan tugas keutamaan,dan…
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Kategori
- Kertas penyelidikan
- Skor AI
- 68
这篇Apple论文揭示了一个反直觉的事实:在LLM评估面板中,9个法官实际上只提供约2个独立票的信息,因为模型会犯相似错误。这解释了为何简单聚合面板往往不如最佳单模型,做评估的团队必须重视法官相关性。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Sembilan hakim, dua undi berkesan: ralat berkorelasi melemahkan panel penilai LLM. 23 Jun 2026. https://new.nat6.net/ms/news/cmqr02j580f8oslp5i6wajucu/