Nueve jueces, dos votos efectivos: los errores de correlación debilitan los paneles de evaluación de LLM
Título original:Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels
Resumen de IA
El equipo de investigación de aprendizaje automático de Apple descubrió que los paneles de LLM-as-a-judge están gravemente limitados por la alta correlación entre modelos. Las pruebas con 9 grandes modelos de lenguaje de vanguardia de 7 familias en 3 conjuntos de datos de inferencia en lenguaje natural muestran que 9 jueces aportan en la práctica la información de solo unos 2 votos independientes; la precisión del panel es entre 8 y 22 puntos porcentuales inferior al valor ideal con votos independientes, y el mejor modelo individual iguala o supera al panel completo. Aumentar el número de jueces o mejorar los algoritmos de agregación apenas ayuda; incluso permitiendo que el algoritmo conozca la respuesta correcta, la brecha se reduce como máximo un 11%. La conclusión se valida con diversas variantes de prompts, configuraciones de temperatura y tareas de preferencia; el cuello de botella es la correlación entre jueces, no el algoritmo de agregación.
Puntos clave
- El equipo de investigación de aprendizaje automático de Apple descubrió que los paneles de…
- Las pruebas con 9 grandes modelos de lenguaje de vanguardia de 7 familias en 3 conjuntos de datos…
- la precisión del panel es entre 8 y 22 puntos porcentuales inferior al valor ideal con votos…
- Aumentar el número de jueces o mejorar los algoritmos de agregación apenas ayuda
- incluso permitiendo que el algoritmo conozca la respuesta correcta,la brecha se reduce como máximo…
Resumen rápido
- Publicado
- Actualizado
- Categoría
- Artículos e investigación
- Puntuación IA
- 68
这篇Apple论文揭示了一个反直觉的事实:在LLM评估面板中,9个法官实际上只提供约2个独立票的信息,因为模型会犯相似错误。这解释了为何简单聚合面板往往不如最佳单模型,做评估的团队必须重视法官相关性。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Nueve jueces, dos votos efectivos: los errores de correlación debilitan los paneles de evaluación de LLM. 23. junio 2026. https://new.nat6.net/es/news/cmqr02j580f8oslp5i6wajucu/