9人の審査員、有効票は2票:相関誤差がLLM審査パネルを弱体化
原題:Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels
AI 要約
Appleの機械学習研究チームは、LLM-as-a-judgeパネルがモデル間の高い相関により大きく制限されることを発見した。7つのモデルファミリーのフロンティア大規模言語モデル9個を3つの自然言語推論データセットでテストした結果、9人の審査員は実際には約2票分の独立した情報しか提供しておらず、パネル精度は独立投票の理想値より8–22ポイント低かった。最良の単一モデルの性能はパネル全体に匹敵するか上回った。審査員の数を増やしたり集約アルゴリズムを改善しても効果はほとんどなく、アルゴリズムに正解を渡しても最大11%の差を縮めるにとどまった。この結論は複数のプロンプト変種、温度設定、選好タスクでも検証され、ボトルネックは集約アルゴリズムではなく審査員間の相関にある。
要点
- Appleの機械学習研究チームは、LLM-as-a-judgeパネルがモデル間の高い相関により大きく制限されることを発見した。
- 7つのモデルファミリーのフロンティア大規模言語モデル9個を3つの自然言語推論データセットでテストした結果、9人の審査員は実際には約2票分の独立した情報しか提供しておらず、パネル精度は独立投票の理想値…
- 最良の単一モデルの性能はパネル全体に匹敵するか上回った。
- 審査員の数を増やしたり集約アルゴリズムを改善しても効果はほとんどなく、アルゴリズムに正解を渡しても最大11%の差を縮めるにとどまった。
- この結論は複数のプロンプト変種、温度設定、選好タスクでも検証され、ボトルネックは集約アルゴリズムではなく審査員間の相関にある
概要
- 公開日時
- 更新日時
- カテゴリ
- 論文・研究
- AI スコア
- 68
这篇Apple论文揭示了一个反直觉的事实:在LLM评估面板中,9个法官实际上只提供约2个独立票的信息,因为模型会犯相似错误。这解释了为何简单聚合面板往往不如最佳单模型,做评估的团队必须重视法官相关性。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:9人の審査員、有効票は2票:相関誤差がLLM審査パネルを弱体化。2026年6月23日。https://new.nat6.net/ja/news/cmqr02j580f8oslp5i6wajucu/