Mga Papel at Pananaliksik

Siyam na judge, dalawang epektibong boto: pinapahina ng correlation error ang LLM review panel

Orihinal na pamagat:Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels

AI summary

Natuklasan ng Apple Machine Learning research team na ang LLM-as-a-judge panel ay lubhang limitado dahil sa mataas na correlation sa pagitan ng mga modelo. Sa pagsubok sa 9 frontier large language models mula sa 7 model family sa 3 natural language inference dataset, ang 9 na judge ay aktwal na nagbibigay lamang ng impormasyong katumbas ng humigit-kumulang 2 independent votes, at ang panel accuracy ay 8-22 percentage point na mas mababa kaysa sa ideal na independent voting, at ang performance ng pinakamahusay na single model ay nakakatapat o nakalalamang sa buong panel. Kaunti lamang ang epekto ng pagdagdag ng judge o pagpapabuti ng aggregation algorithm, at kahit payagan ang algorithm na makuha ang tamang sagot, 11% lamang ang mababawasan sa agwat. Ang konklusyon ay na-verify sa iba't ibang prompt variant, temperature setting at preference task, at ang bottleneck ay ang correlation sa pagitan ng mga judge, hindi ang aggregation algorithm.

Mahahalagang impormasyon

  • Natuklasan ng Apple Machine Learning research team na ang LLM-as-a-judge panel ay lubhang limitado…
  • Sa pagsubok sa 9 frontier large language models mula sa 7 model family sa 3 natural language…
  • Kaunti lamang ang epekto ng pagdagdag ng judge o pagpapabuti ng aggregation algorithm,at kahit…
  • Ang konklusyon ay na-verify sa iba't ibang prompt variant,temperature setting at preference…

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
Apple Machine Learning Research(RSS)
Kategorya
Mga Papel at Pananaliksik
AI na marka
68
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

这篇Apple论文揭示了一个反直觉的事实:在LLM评估面板中,9个法官实际上只提供约2个独立票的信息,因为模型会犯相似错误。这解释了为何简单聚合面板往往不如最佳单模型,做评估的团队必须重视法官相关性。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Siyam na judge, dalawang epektibong boto: pinapahina ng correlation error ang LLM review panel. 23 Hunyo 2026. https://new.nat6.net/fil/news/cmqr02j580f8oslp5i6wajucu/

Tingnan lahat →