Makalah & Riset

Sembilan juri, dua suara efektif: korelasi error melemahkan panel juri LLM

Judul asli:Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels

Ringkasan AI

Tim riset machine learning Apple menemukan bahwa panel LLM-as-a-judge sangat terbatas karena korelasi tinggi antar model. Pengujian terhadap 9 model bahasa besar terdepan dari 7 keluarga model pada 3 dataset penalaran bahasa alami menunjukkan bahwa 9 juri sebenarnya hanya memberikan informasi setara sekitar 2 suara independen, dengan akurasi panel 8–22 poin persentase lebih rendah dari nilai ideal suara independen; performa model tunggal terbaik sudah menyamai atau melampaui seluruh panel. Menambah jumlah juri atau memperbaiki algoritma agregasi hanya memberikan dampak kecil; bahkan jika algoritma diizinkan mengakses jawaban benar, kesenjangan hanya dapat dipersempit hingga maksimal 11%. Kesimpulan ini tervalidasi pada berbagai variasi prompt, pengaturan suhu, dan tugas preferensi; hambatannya adalah korelasi antar juri, bukan algoritma agregasi.

Poin utama

  • Tim riset machine learning Apple menemukan bahwa panel LLM-as-a-judge sangat terbatas karena…
  • Pengujian terhadap 9 model bahasa besar terdepan dari 7 keluarga model pada 3 dataset penalaran…
  • performa model tunggal terbaik sudah menyamai atau melampaui seluruh panel.
  • Menambah jumlah juri atau memperbaiki algoritma agregasi hanya memberikan dampak kecil
  • bahkan jika algoritma diizinkan mengakses jawaban benar,kesenjangan hanya dapat dipersempit hingga…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Apple Machine Learning Research(RSS)
Kategori
Makalah & Riset
Skor AI
68
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

这篇Apple论文揭示了一个反直觉的事实:在LLM评估面板中,9个法官实际上只提供约2个独立票的信息,因为模型会犯相似错误。这解释了为何简单聚合面板往往不如最佳单模型,做评估的团队必须重视法官相关性。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Sembilan juri, dua suara efektif: korelasi error melemahkan panel juri LLM. 23 Juni 2026. https://new.nat6.net/id/news/cmqr02j580f8oslp5i6wajucu/

Lihat semua →