Community Evals: Weil wir Black-Box-Ranglisten nicht mehr mehr vertrauen als der Community
Originaltitel:Community Evals: Because we're done trusting black-box leaderboards over the community
KI-Zusammenfassung
LMSys hat das communitygetriebene Bewertungsframework Community Evals vorgestellt, das die Demokratisierung von KI durch Open Source und Open Science voranbringen soll. Das Framework ermöglicht der Community, Bewertungsfälle beizusteuern und zu prüfen, um Modelle transparent und reproduzierbar zu testen. Damit soll der derzeitigen Abhängigkeit von „Black-Box“-Ranglisten weniger Institutionen entgegengewirkt und eine breitere Community in die Definition und Messung der Fähigkeiten und des Werts von KI-Modellen einbezogen werden.
Kernpunkte
- LMSys hat das communitygetriebene Bewertungsframework Community Evals vorgestellt,das die…
- Das Framework ermöglicht der Community,Bewertungsfälle beizusteuern und zu prüfen,um Modelle…
- Damit soll der derzeitigen Abhängigkeit von „Black-Box“-Ranglisten weniger Institutionen…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- Hugging Face 社区博客(混合发现)
- Kategorie
- Sonstiges
- KI-Bewertung
- 76
Hugging Face 推社区评测挑战黑盒排行榜,开源生态评测标准可能改变
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Community Evals: Weil wir Black-Box-Ranglisten nicht mehr mehr vertrauen als der Community. 4. Februar 2026. https://new.nat6.net/de/news/cmoegbhak009jslxxhmd12ssc/