Siyam na judge, dalawang epektibong boto: pinapahina ng correlation error ang LLM review panel
Orihinal na pamagat:Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels
AI summary
Natuklasan ng Apple Machine Learning research team na ang LLM-as-a-judge panel ay lubhang limitado dahil sa mataas na correlation sa pagitan ng mga modelo. Sa pagsubok sa 9 frontier large language models mula sa 7 model family sa 3 natural language inference dataset, ang 9 na judge ay aktwal na nagbibigay lamang ng impormasyong katumbas ng humigit-kumulang 2 independent votes, at ang panel accuracy ay 8-22 percentage point na mas mababa kaysa sa ideal na independent voting, at ang performance ng pinakamahusay na single model ay nakakatapat o nakalalamang sa buong panel. Kaunti lamang ang epekto ng pagdagdag ng judge o pagpapabuti ng aggregation algorithm, at kahit payagan ang algorithm na makuha ang tamang sagot, 11% lamang ang mababawasan sa agwat. Ang konklusyon ay na-verify sa iba't ibang prompt variant, temperature setting at preference task, at ang bottleneck ay ang correlation sa pagitan ng mga judge, hindi ang aggregation algorithm.
Mahahalagang impormasyon
- Natuklasan ng Apple Machine Learning research team na ang LLM-as-a-judge panel ay lubhang limitado…
- Sa pagsubok sa 9 frontier large language models mula sa 7 model family sa 3 natural language…
- Kaunti lamang ang epekto ng pagdagdag ng judge o pagpapabuti ng aggregation algorithm,at kahit…
- Ang konklusyon ay na-verify sa iba't ibang prompt variant,temperature setting at preference…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- Apple Machine Learning Research(RSS)
- Kategorya
- Mga Papel at Pananaliksik
- AI na marka
- 68
这篇Apple论文揭示了一个反直觉的事实:在LLM评估面板中,9个法官实际上只提供约2个独立票的信息,因为模型会犯相似错误。这解释了为何简单聚合面板往往不如最佳单模型,做评估的团队必须重视法官相关性。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Siyam na judge, dalawang epektibong boto: pinapahina ng correlation error ang LLM review panel. 23 Hunyo 2026. https://new.nat6.net/fil/news/cmqr02j580f8oslp5i6wajucu/