Studi Arena: LLM juri lebih menyukai jawabannya sendiri 70% lebih sering dibanding manusia
Judul asli:LLM judges prefer their own responses 70% more often than humans do
Ringkasan AI
Arena menggunakan 12 model untuk membuat 34.580 keputusan atas 1.460 pertandingan Text Arena nyata, dan menemukan bahwa model lebih menyukai jawabannya sendiri sekitar 70% lebih sering dibanding manusia; GPT-6 Astra memilih dirinya sendiri dalam 88% pertandingan. Tiga juri OpenAI lebih toleran terhadap model OpenAI sebesar 37 poin dibanding manusia; tingkat kesepakatan antar-juri AI 79,4%, tetapi dengan pemilih manusia hanya 56,9%; model jarang memutuskan seri, Sol memaksakan pemilihan pemenang dalam 96% pertandingan.
Poin utama
- Arena menggunakan 12 model untuk membuat 34.
- 580 keputusan atas 1.
- 460 pertandingan Text Arena nyata,dan menemukan bahwa model lebih menyukai jawabannya sendiri…
- GPT-6 Astra memilih dirinya sendiri dalam 88% pertandingan.
- Tiga juri OpenAI lebih toleran terhadap model OpenAI sebesar 37 poin dibanding manusia
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- X:Arena (@arena)
- Kategori
- Makalah & Riset
- Skor AI
- 67
基于 1,460 场真实对战和 34,580 条裁决的实测数据,读者可以据此校准对 LLM-as-a-judge 评测结果的信任程度。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Studi Arena: LLM juri lebih menyukai jawabannya sendiri 70% lebih sering dibanding manusia. 30 September 2026. https://new.nat6.net/id/news/u6afu3icor0mjvuoie6d2fd2w/