Девять судей, два действительных голоса: корреляция ошибок ослабляет панели LLM-судей
Оригинальный заголовок:Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels
ИИ-резюме
Исследовательская группа Apple Machine Learning обнаружила, что панели LLM-as-a-judge серьёзно ограничены высокой корреляцией между моделями. Тестирование 9 передовых больших языковых моделей из 7 семейств на 3 наборах данных для логического вывода на естественном языке показало, что 9 судей фактически дают информацию примерно о 2 независимых голосах, а точность панели на 8–22 процентных пункта ниже идеала независимого голосования; лучшая одиночная модель уже сравнялась со всей панелью или превзошла её. Увеличение числа судей или улучшение алгоритма агрегации почти не помогает: даже при доступе алгоритма к правильному ответу разрыв сокращается не более чем на 11%. Вывод подтверждён на различных вариантах промптов, настройках температуры и задачах предпочтения; узкое место — корреляция между судьями, а не алгоритм агрегации.
Ключевые моменты
- Исследовательская группа Apple Machine Learning обнаружила,что панели LLM-as-a-judge серьёзно…
- Тестирование 9 передовых больших языковых моделей из 7 семейств на 3 наборах данных для…
- лучшая одиночная модель уже сравнялась со всей панелью или превзошла её.
- Увеличение числа судей или улучшение алгоритма агрегации почти не помогает: даже при доступе…
- Вывод подтверждён на различных вариантах промптов,настройках температуры и задачах предпочтения
Кратко
- Опубликовано
- Обновлено
- Источник
- Apple Machine Learning Research(RSS)
- Категория
- Статьи и исследования
- Оценка ИИ
- 68
这篇Apple论文揭示了一个反直觉的事实:在LLM评估面板中,9个法官实际上只提供约2个独立票的信息,因为模型会犯相似错误。这解释了为何简单聚合面板往往不如最佳单模型,做评估的团队必须重视法官相关性。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Девять судей, два действительных голоса: корреляция ошибок ослабляет панели LLM-судей. 23 июня 2026. https://new.nat6.net/ru/news/cmqr02j580f8oslp5i6wajucu/