Papers & Forschung

Neun Juroren, zwei effektive Stimmen: Korrelierte Fehler schwächen LLM-Jurorenpanels

Originaltitel:Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels

KI-Zusammenfassung

Das Machine-Learning-Forschungsteam von Apple hat festgestellt, dass LLM-as-a-judge-Panels aufgrund der hohen Korrelation zwischen den Modellen stark eingeschränkt sind. Tests mit neun führenden großen Sprachmodellen aus sieben Modellfamilien auf drei Datensätzen für natürliches Sprachschließen zeigten, dass neun Juroren tatsächlich nur die Informationsmenge von etwa zwei unabhängigen Stimmen liefern. Die Genauigkeit des Panels lag 8–22 Prozentpunkte unter dem Idealwert unabhängiger Abstimmungen; das beste Einzelmodell erreichte bereits die Leistung des gesamten Panels oder übertraf sie. Eine Erhöhung der Jurorenzahl oder verbesserte Aggregationsalgorithmen brachten kaum etwas; selbst wenn der Algorithmus die richtige Antwort erhielt, ließ sich die Lücke um höchstens 11 % verringern. Dieses Ergebnis wurde in mehreren Prompt-Varianten, Temperatureinstellungen und Präferenzaufgaben bestätigt. Der Engpass liegt in der Korrelation zwischen den Juroren, nicht im Aggregationsalgorithmus.

Kernpunkte

  • Das Machine-Learning-Forschungsteam von Apple hat festgestellt,dass LLM-as-a-judge-Panels aufgrund…
  • Tests mit neun führenden großen Sprachmodellen aus sieben Modellfamilien auf drei Datensätzen für…
  • Die Genauigkeit des Panels lag 8–22 Prozentpunkte unter dem Idealwert unabhängiger Abstimmungen
  • das beste Einzelmodell erreichte bereits die Leistung des gesamten Panels oder übertraf sie.
  • Eine Erhöhung der Jurorenzahl oder verbesserte Aggregationsalgorithmen brachten kaum etwas

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
Apple Machine Learning Research(RSS)
Kategorie
Papers & Forschung
KI-Bewertung
68
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

这篇Apple论文揭示了一个反直觉的事实:在LLM评估面板中,9个法官实际上只提供约2个独立票的信息,因为模型会犯相似错误。这解释了为何简单聚合面板往往不如最佳单模型,做评估的团队必须重视法官相关性。

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Neun Juroren, zwei effektive Stimmen: Korrelierte Fehler schwächen LLM-Jurorenpanels. 23. Juni 2026. https://new.nat6.net/de/news/cmqr02j580f8oslp5i6wajucu/

Alle ansehen →