Arena 研究:LLM 裁判偏爱自己答案的概率比人类高 70%
原文标题:LLM judges prefer their own responses 70% more often than humans do
AI 摘要
Arena 用 12 个模型对 1,460 场真实 Text Arena 对战做了 34,580 条裁决,发现模型偏爱自己答案的程度平均比人类高约 70%,GPT-6 Astra 在 88% 的对战中选了自己。OpenAI 三款裁判对 OpenAI 模型比人类宽容 37 分,AI 裁判之间一致率 79.4%,但与人类投票者只有 56.9%;模型很少判平局,Sol 在 96% 的对战中强行选出赢家。
关键信息
- Arena 用 12 个模型对 1,460 场真实 Text Arena 对战做了 34,580 条裁决,发现模型偏爱自己答案的程度平均比人类高约 70%,GPT-6 Astra 在 88% 的对战…
- OpenAI 三款裁判对 OpenAI 模型比人类宽容 37 分,AI 裁判之间一致率 79.
- 4%,但与人类投票者只有 56.
- 模型很少判平局,Sol 在 96% 的对战中强行选出赢家
- 基于 1,460 场真实对战和 34,580 条裁决的实测数据,读者可以据此校准对 LLM-as-a-judge 评测结果的信任程度
速览
- 发布时间
- 更新时间
- 分类
- 论文与研究
- AI 评分
- 67
推荐理由
基于 1,460 场真实对战和 34,580 条裁决的实测数据,读者可以据此校准对 LLM-as-a-judge 评测结果的信任程度。
相关实体
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:Arena 研究:LLM 裁判偏爱自己答案的概率比人类高 70%。2026年9月30日。https://new.nat6.net/news/u6afu3icor0mjvuoie6d2fd2w/