Neuf juges, deux votes effectifs : les erreurs de corrélation affaiblissent les panels d'évaluation par LLM
Titre original:Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels
Résumé IA
L'équipe de recherche en apprentissage automatique d'Apple constate que les panels LLM-as-a-judge sont fortement limités par la corrélation entre modèles. Sur 9 grands modèles de langage de pointe issus de 7 familles, testés sur 3 jeux de données de raisonnement en langage naturel, les 9 juges n'apportent en réalité que l'information d'environ 2 votes indépendants ; la précision du panel est inférieure de 8 à 22 points à l'idéal de votes indépendants, et le meilleur modèle seul égale ou dépasse le panel entier. Augmenter le nombre de juges ou améliorer l'algorithme d'agrégation n'apporte que peu, et même en donnant la bonne réponse à l'algorithme, l'écart ne se réduit qu'au plus de 11 %. Ces conclusions sont confirmées sur diverses variantes de prompts, températures et tâches de préférence ; le goulot d'étranglement tient à la corrélation entre juges, non à l'algorithme d'agrégation.
Points clés
- L'équipe de recherche en apprentissage automatique d'Apple constate que les panels LLM-as-a-judge…
- Sur 9 grands modèles de langage de pointe issus de 7 familles,testés sur 3 jeux de données de…
- la précision du panel est inférieure de 8 à 22 points à l'idéal de votes indépendants,et le…
- Augmenter le nombre de juges ou améliorer l'algorithme d'agrégation n'apporte que peu,et même en…
- Ces conclusions sont confirmées sur diverses variantes de prompts,températures et tâches de…
En bref
- Publié
- Mis à jour
- Catégorie
- Articles et recherche
- Score IA
- 68
这篇Apple论文揭示了一个反直觉的事实:在LLM评估面板中,9个法官实际上只提供约2个独立票的信息,因为模型会犯相似错误。这解释了为何简单聚合面板往往不如最佳单模型,做评估的团队必须重视法官相关性。
Entités associées
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Neuf juges, deux votes effectifs : les erreurs de corrélation affaiblissent les panels d'évaluation par LLM. 23. juin 2026. https://new.nat6.net/fr/news/cmqr02j580f8oslp5i6wajucu/