Articles et recherche

Neuf juges, deux votes effectifs : les erreurs de corrélation affaiblissent les panels d'évaluation par LLM

Titre original:Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels

Résumé IA

L'équipe de recherche en apprentissage automatique d'Apple constate que les panels LLM-as-a-judge sont fortement limités par la corrélation entre modèles. Sur 9 grands modèles de langage de pointe issus de 7 familles, testés sur 3 jeux de données de raisonnement en langage naturel, les 9 juges n'apportent en réalité que l'information d'environ 2 votes indépendants ; la précision du panel est inférieure de 8 à 22 points à l'idéal de votes indépendants, et le meilleur modèle seul égale ou dépasse le panel entier. Augmenter le nombre de juges ou améliorer l'algorithme d'agrégation n'apporte que peu, et même en donnant la bonne réponse à l'algorithme, l'écart ne se réduit qu'au plus de 11 %. Ces conclusions sont confirmées sur diverses variantes de prompts, températures et tâches de préférence ; le goulot d'étranglement tient à la corrélation entre juges, non à l'algorithme d'agrégation.

Points clés

  • L'équipe de recherche en apprentissage automatique d'Apple constate que les panels LLM-as-a-judge…
  • Sur 9 grands modèles de langage de pointe issus de 7 familles,testés sur 3 jeux de données de…
  • la précision du panel est inférieure de 8 à 22 points à l'idéal de votes indépendants,et le…
  • Augmenter le nombre de juges ou améliorer l'algorithme d'agrégation n'apporte que peu,et même en…
  • Ces conclusions sont confirmées sur diverses variantes de prompts,températures et tâches de…

En bref

Publié
Mis à jour
Source
Apple Machine Learning Research(RSS)
Catégorie
Articles et recherche
Score IA
68
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

这篇Apple论文揭示了一个反直觉的事实:在LLM评估面板中,9个法官实际上只提供约2个独立票的信息,因为模型会犯相似错误。这解释了为何简单聚合面板往往不如最佳单模型,做评估的团队必须重视法官相关性。

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Neuf juges, deux votes effectifs : les erreurs de corrélation affaiblissent les panels d'évaluation par LLM. 23. juin 2026. https://new.nat6.net/fr/news/cmqr02j580f8oslp5i6wajucu/

Tout voir →