논문 및 연구

Arena 연구: LLM 심판이 자기 답변을 선호할 확률이 인간보다 70% 높아

원제목:LLM judges prefer their own responses 70% more often than humans do

AI 요약

Arena는 12개 모델로 1,460건의 실제 Text Arena 대전에 대해 34,580건의 판정을 수행한 결과, 모델이 자기 답변을 선호하는 정도가 평균적으로 인간보다 약 70% 높았으며 GPT-6 Astra는 88%의 대전에서 자신을 선택했다. OpenAI의 세 심판은 OpenAI 모델에 대해 인간보다 37점 관대했고, AI 심판 간 일치율은 79.4%였으나 인간 투표자와는 56.9%에 그쳤다. 모델은 무승부 판정을 거의 내리지 않아 Sol은 96%의 대전에서 강제로 승자를 가렸다.

핵심 정보

  • Arena는 12개 모델로 1,460건의 실제 Text Arena 대전에 대해 34,580건의 판정을 수행한 결과,모델이 자기 답변을 선호하는 정도가 평균적으로 인간보다 약…
  • OpenAI의 세 심판은 OpenAI 모델에 대해 인간보다 37점 관대했고,AI 심판 간 일치율은 79.
  • 4%였으나 인간 투표자와는 56.
  • 모델은 무승부 판정을 거의 내리지 않아 Sol은 96%의 대전에서 강제로 승자를 가렸다.

한눈에 보기

게시
업데이트
출처
X:Arena (@arena)
카테고리
논문 및 연구
AI 점수
67
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

基于 1,460 场真实对战和 34,580 条裁决的实测数据,读者可以据此校准对 LLM-as-a-judge 评测结果的信任程度。

관련 엔티티

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: Arena 연구: LLM 심판이 자기 답변을 선호할 확률이 인간보다 70% 높아. 2026년 9월 30일. https://new.nat6.net/ko/news/u6afu3icor0mjvuoie6d2fd2w/

전체 보기 →