Makalah & Riset

Studi Arena: LLM juri lebih menyukai jawabannya sendiri 70% lebih sering dibanding manusia

Judul asli:LLM judges prefer their own responses 70% more often than humans do

Ringkasan AI

Arena menggunakan 12 model untuk membuat 34.580 keputusan atas 1.460 pertandingan Text Arena nyata, dan menemukan bahwa model lebih menyukai jawabannya sendiri sekitar 70% lebih sering dibanding manusia; GPT-6 Astra memilih dirinya sendiri dalam 88% pertandingan. Tiga juri OpenAI lebih toleran terhadap model OpenAI sebesar 37 poin dibanding manusia; tingkat kesepakatan antar-juri AI 79,4%, tetapi dengan pemilih manusia hanya 56,9%; model jarang memutuskan seri, Sol memaksakan pemilihan pemenang dalam 96% pertandingan.

Poin utama

  • Arena menggunakan 12 model untuk membuat 34.
  • 580 keputusan atas 1.
  • 460 pertandingan Text Arena nyata,dan menemukan bahwa model lebih menyukai jawabannya sendiri…
  • GPT-6 Astra memilih dirinya sendiri dalam 88% pertandingan.
  • Tiga juri OpenAI lebih toleran terhadap model OpenAI sebesar 37 poin dibanding manusia

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
X:Arena (@arena)
Kategori
Makalah & Riset
Skor AI
67
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

基于 1,460 场真实对战和 34,580 条裁决的实测数据,读者可以据此校准对 LLM-as-a-judge 评测结果的信任程度。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Studi Arena: LLM juri lebih menyukai jawabannya sendiri 70% lebih sering dibanding manusia. 30 September 2026. https://new.nat6.net/id/news/u6afu3icor0mjvuoie6d2fd2w/

Lihat semua →