Tutorials & Tipps

ARC Prize testet OpenAI o1 bei ARC-AGI-Pub

Originaltitel:OpenAI o1 Results on ARC-AGI-Pub

KI-Zusammenfassung

ARC Prize ermittelte mit einem einheitlichen Testframework für o1-preview im öffentlichen ARC-AGI-Eval 21,2 %, vergleichbar mit 21 % von Claude 3.5 Sonnet, jedoch mit durchschnittlich 4,2 Minuten pro Aufgabe etwa zehnmal so langsam. Der Artikel argumentiert, o1 habe das CoT-Paradigma für Training und Inferenz umgesetzt und sei von der Speicherung von Antworten zur Speicherung von Reasoning übergegangen, bleibe aber auf die Verteilung der Vortrainingsdaten beschränkt. Mehr Test-Time-Compute könne die Genauigkeit logarithmisch steigern, für AGI seien jedoch weiterhin neue Ideen nötig.

Kernpunkte

  • ARC Prize ermittelte mit einem einheitlichen Testframework für o1-preview im öffentlichen…
  • 5 Sonnet,jedoch mit durchschnittlich 4,2 Minuten pro Aufgabe etwa zehnmal so langsam.
  • Der Artikel argumentiert,o1 habe das CoT-Paradigma für Training und Inferenz umgesetzt und sei von…
  • Mehr Test-Time-Compute könne die Genauigkeit logarithmisch steigern,für AGI seien jedoch weiterhin…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
ARC Prize:官方博客
Kategorie
Tutorials & Tipps
KI-Bewertung
71
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

ARC Prize 用同一测试框架实测 o1 并给出测试时算力与效率分析,读者可借此理解 o1 在 ARC-AGI 上成绩有限的原因。

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: ARC Prize testet OpenAI o1 bei ARC-AGI-Pub. 13. September 2024. https://new.nat6.net/de/news/cmtyo2p2t03glrog0f2a4owcg/

Alle ansehen →