论文与研究

九位评委,两个有效投票:相关错误削弱LLM评审面板

原文标题:Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels

AI 摘要

苹果机器学习研究团队发现,LLM-as-a-judge面板因模型间高度相关而严重受限。对7个模型家族的9个前沿大语言模型在3个自然语言推理数据集上的测试表明,9位评委实际仅提供约2个独立投票的信息量,面板准确率比独立投票理想值低8–22个百分点,最佳单一模型的表现已匹敌或超越整个面板。增加评委数量或改进聚合算法收效甚微,即使允许算法获取正确答案也仅能缩小至多11%的差距。该结论在多种提示变体、温度设置及偏好任务中均得到验证,瓶颈在于评委间的相关性而非聚合算法。

关键信息

  • 苹果机器学习研究团队发现,LLM-as-a-judge面板因模型间高度相关而严重受限。
  • 对7个模型家族的9个前沿大语言模型在3个自然语言推理数据集上的测试表明,9位评委实际仅提供约2个独立投票的信息量,面板准确率比独立投票理想值低8–22个百分点,最佳单一模型的表现已匹敌或超越整个面板。
  • 增加评委数量或改进聚合算法收效甚微,即使允许算法获取正确答案也仅能缩小至多11%的差距。
  • 该结论在多种提示变体、温度设置及偏好任务中均得到验证,瓶颈在于评委间的相关性而非聚合算法
  • 这篇Apple论文揭示了一个反直觉的事实:在LLM评估面板中,9个法官实际上只提供约2个独立票的信息,因为模型会犯相似错误。

速览

发布时间
更新时间
来源
Apple Machine Learning Research(RSS)
分类
论文与研究
AI 评分
68
阅读原文 前往信息源阅读完整正文
推荐理由

这篇Apple论文揭示了一个反直觉的事实:在LLM评估面板中,9个法官实际上只提供约2个独立票的信息,因为模型会犯相似错误。这解释了为何简单聚合面板往往不如最佳单模型,做评估的团队必须重视法官相关性。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:九位评委,两个有效投票:相关错误削弱LLM评审面板。2026年6月23日。https://new.nat6.net/news/cmqr02j580f8oslp5i6wajucu/

查看全部 →
  • 思考即回忆:推理如何解锁LLM中的参数化知识

    Google Research研究发现,推理(chain-of-thought)能帮助大语言模型(LLM)回忆简单事实,即使这些事实无需复杂推导。在Gemini-2.5 Flash和Pro以及Qwen3-32B上,启用推理后模型能够回答原…

    Google Research:Blog(网页)论文与研究AI 评分 69

  • MosaicLeaks: 你的研究智能体能保守秘密吗?

    深度研究智能体在结合私有本地文档与外部网页检索时存在隐私泄露风险。MosaicLeaks 提出包含 1,001 条多跳研究链的新任务,每条链交错混合本地与公共子问题。测试发现智能体频繁泄露私有信息,单纯优化任务性能反而加剧泄露。基于此,研…

    Hugging Face 社区博客(混合发现)论文与研究AI 评分 75

  • DFlash:块扩散草稿模型实现最高15倍吞吐量提升

    DFlash 由 UC San Diego 团队提出,是一种用于投机解码的轻量块扩散草稿模型。它一次前向推理生成整块 token,再由目标模型并行验证,保证输出无损。相比 EAGLE-3,DFlash 实现最高 2.5 倍加速,在 Qwe…

    MarkTechPost(RSS)论文与研究AI 评分 74

  • OpenAI 强化学习实现广泛且持久的有益模型

    OpenAI 通过强化学习在真实对话场景中训练模型,使其展现诚实、认知谦逊、元认知透明、可纠正性、普遍公平性和对人类福祉的关心等有益特质。训练数据涵盖健康、教育、科学、法律、工程等多个领域。训练后模型在数十项独立对齐评测(包括奖励黑客、欺…

    OpenAI:Alignment 研究博客(RSS)论文与研究AI 评分 64

  • OpenAI内部报告:智能体Codex如何改变工作

    OpenAI 在2025年8月至2026年6月间观察到,智能体产品 Codex 取代 ChatGPT 成为主要工作工具,各部门输出 token 中 Codex 占比从不足10%升至99.8%。80.6%个体用户曾发起预计等效人类工作时间超…

    OpenAI:官网动态(RSS · 排除企业/客户案例)论文与研究AI 评分 65