Статьи и исследования

Девять судей, два действительных голоса: корреляция ошибок ослабляет панели LLM-судей

Оригинальный заголовок:Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels

ИИ-резюме

Исследовательская группа Apple Machine Learning обнаружила, что панели LLM-as-a-judge серьёзно ограничены высокой корреляцией между моделями. Тестирование 9 передовых больших языковых моделей из 7 семейств на 3 наборах данных для логического вывода на естественном языке показало, что 9 судей фактически дают информацию примерно о 2 независимых голосах, а точность панели на 8–22 процентных пункта ниже идеала независимого голосования; лучшая одиночная модель уже сравнялась со всей панелью или превзошла её. Увеличение числа судей или улучшение алгоритма агрегации почти не помогает: даже при доступе алгоритма к правильному ответу разрыв сокращается не более чем на 11%. Вывод подтверждён на различных вариантах промптов, настройках температуры и задачах предпочтения; узкое место — корреляция между судьями, а не алгоритм агрегации.

Ключевые моменты

  • Исследовательская группа Apple Machine Learning обнаружила,что панели LLM-as-a-judge серьёзно…
  • Тестирование 9 передовых больших языковых моделей из 7 семейств на 3 наборах данных для…
  • лучшая одиночная модель уже сравнялась со всей панелью или превзошла её.
  • Увеличение числа судей или улучшение алгоритма агрегации почти не помогает: даже при доступе…
  • Вывод подтверждён на различных вариантах промптов,настройках температуры и задачах предпочтения

Кратко

Опубликовано
Обновлено
Источник
Apple Machine Learning Research(RSS)
Категория
Статьи и исследования
Оценка ИИ
68
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

这篇Apple论文揭示了一个反直觉的事实:在LLM评估面板中,9个法官实际上只提供约2个独立票的信息,因为模型会犯相似错误。这解释了为何简单聚合面板往往不如最佳单模型,做评估的团队必须重视法官相关性。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Девять судей, два действительных голоса: корреляция ошибок ослабляет панели LLM-судей. 23 июня 2026. https://new.nat6.net/ru/news/cmqr02j580f8oslp5i6wajucu/

Смотреть все →