Sembilan juri, dua suara efektif: korelasi error melemahkan panel juri LLM
Judul asli:Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels
Ringkasan AI
Tim riset machine learning Apple menemukan bahwa panel LLM-as-a-judge sangat terbatas karena korelasi tinggi antar model. Pengujian terhadap 9 model bahasa besar terdepan dari 7 keluarga model pada 3 dataset penalaran bahasa alami menunjukkan bahwa 9 juri sebenarnya hanya memberikan informasi setara sekitar 2 suara independen, dengan akurasi panel 8–22 poin persentase lebih rendah dari nilai ideal suara independen; performa model tunggal terbaik sudah menyamai atau melampaui seluruh panel. Menambah jumlah juri atau memperbaiki algoritma agregasi hanya memberikan dampak kecil; bahkan jika algoritma diizinkan mengakses jawaban benar, kesenjangan hanya dapat dipersempit hingga maksimal 11%. Kesimpulan ini tervalidasi pada berbagai variasi prompt, pengaturan suhu, dan tugas preferensi; hambatannya adalah korelasi antar juri, bukan algoritma agregasi.
Poin utama
- Tim riset machine learning Apple menemukan bahwa panel LLM-as-a-judge sangat terbatas karena…
- Pengujian terhadap 9 model bahasa besar terdepan dari 7 keluarga model pada 3 dataset penalaran…
- performa model tunggal terbaik sudah menyamai atau melampaui seluruh panel.
- Menambah jumlah juri atau memperbaiki algoritma agregasi hanya memberikan dampak kecil
- bahkan jika algoritma diizinkan mengakses jawaban benar,kesenjangan hanya dapat dipersempit hingga…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Kategori
- Makalah & Riset
- Skor AI
- 68
这篇Apple论文揭示了一个反直觉的事实:在LLM评估面板中,9个法官实际上只提供约2个独立票的信息,因为模型会犯相似错误。这解释了为何简单聚合面板往往不如最佳单模型,做评估的团队必须重视法官相关性。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Sembilan juri, dua suara efektif: korelasi error melemahkan panel juri LLM. 23 Juni 2026. https://new.nat6.net/id/news/cmqr02j580f8oslp5i6wajucu/