Artículos e investigación

Nueve jueces, dos votos efectivos: los errores de correlación debilitan los paneles de evaluación de LLM

Título original:Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels

Resumen de IA

El equipo de investigación de aprendizaje automático de Apple descubrió que los paneles de LLM-as-a-judge están gravemente limitados por la alta correlación entre modelos. Las pruebas con 9 grandes modelos de lenguaje de vanguardia de 7 familias en 3 conjuntos de datos de inferencia en lenguaje natural muestran que 9 jueces aportan en la práctica la información de solo unos 2 votos independientes; la precisión del panel es entre 8 y 22 puntos porcentuales inferior al valor ideal con votos independientes, y el mejor modelo individual iguala o supera al panel completo. Aumentar el número de jueces o mejorar los algoritmos de agregación apenas ayuda; incluso permitiendo que el algoritmo conozca la respuesta correcta, la brecha se reduce como máximo un 11%. La conclusión se valida con diversas variantes de prompts, configuraciones de temperatura y tareas de preferencia; el cuello de botella es la correlación entre jueces, no el algoritmo de agregación.

Puntos clave

  • El equipo de investigación de aprendizaje automático de Apple descubrió que los paneles de…
  • Las pruebas con 9 grandes modelos de lenguaje de vanguardia de 7 familias en 3 conjuntos de datos…
  • la precisión del panel es entre 8 y 22 puntos porcentuales inferior al valor ideal con votos…
  • Aumentar el número de jueces o mejorar los algoritmos de agregación apenas ayuda
  • incluso permitiendo que el algoritmo conozca la respuesta correcta,la brecha se reduce como máximo…

Resumen rápido

Publicado
Actualizado
Fuente
Apple Machine Learning Research(RSS)
Categoría
Artículos e investigación
Puntuación IA
68
Leer el original Leer el artículo completo en la fuente original
Por qué importa

这篇Apple论文揭示了一个反直觉的事实:在LLM评估面板中,9个法官实际上只提供约2个独立票的信息,因为模型会犯相似错误。这解释了为何简单聚合面板往往不如最佳单模型,做评估的团队必须重视法官相关性。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Nueve jueces, dos votos efectivos: los errores de correlación debilitan los paneles de evaluación de LLM. 23. junio 2026. https://new.nat6.net/es/news/cmqr02j580f8oslp5i6wajucu/

Ver todo →