ARC Prize testet OpenAI o1 bei ARC-AGI-Pub
Originaltitel:OpenAI o1 Results on ARC-AGI-Pub
KI-Zusammenfassung
ARC Prize ermittelte mit einem einheitlichen Testframework für o1-preview im öffentlichen ARC-AGI-Eval 21,2 %, vergleichbar mit 21 % von Claude 3.5 Sonnet, jedoch mit durchschnittlich 4,2 Minuten pro Aufgabe etwa zehnmal so langsam. Der Artikel argumentiert, o1 habe das CoT-Paradigma für Training und Inferenz umgesetzt und sei von der Speicherung von Antworten zur Speicherung von Reasoning übergegangen, bleibe aber auf die Verteilung der Vortrainingsdaten beschränkt. Mehr Test-Time-Compute könne die Genauigkeit logarithmisch steigern, für AGI seien jedoch weiterhin neue Ideen nötig.
Kernpunkte
- ARC Prize ermittelte mit einem einheitlichen Testframework für o1-preview im öffentlichen…
- 5 Sonnet,jedoch mit durchschnittlich 4,2 Minuten pro Aufgabe etwa zehnmal so langsam.
- Der Artikel argumentiert,o1 habe das CoT-Paradigma für Training und Inferenz umgesetzt und sei von…
- Mehr Test-Time-Compute könne die Genauigkeit logarithmisch steigern,für AGI seien jedoch weiterhin…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- ARC Prize:官方博客
- Kategorie
- Tutorials & Tipps
- KI-Bewertung
- 71
ARC Prize 用同一测试框架实测 o1 并给出测试时算力与效率分析,读者可借此理解 o1 在 ARC-AGI 上成绩有限的原因。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: ARC Prize testet OpenAI o1 bei ARC-AGI-Pub. 13. September 2024. https://new.nat6.net/de/news/cmtyo2p2t03glrog0f2a4owcg/