チュートリアル

ARC Prize、OpenAI o1のARC-AGI-Pubでの成績を実測

原題:OpenAI o1 Results on ARC-AGI-Pub

AI 要約

ARC Prizeは統一テストフレームワークを用いて、o1-previewがARC-AGI公開評価で21.2%を記録し、Claude 3.5 Sonnetの21%と同程度だったが、1タスクあたり平均4.2分と約10倍の時間を要したと測定した。記事は、o1がトレーニング時と推論時のCoTパラダイムを実現し、答えの記憶から推論の記憶へ移行したものの、依然として事前学習データの分布内に限られると指摘。テスト時算力の増加は精度を対数関数的に向上させるが、AGIの実現には新たな発想が必要だと述べた。

要点

  • ARC Prizeは統一テストフレームワークを用いて、o1-previewがARC-AGI公開評価で21.
  • 2%を記録し、Claude 3.
  • 5 Sonnetの21%と同程度だったが、1タスクあたり平均4.
  • 2分と約10倍の時間を要したと測定した。
  • 記事は、o1がトレーニング時と推論時のCoTパラダイムを実現し、答えの記憶から推論の記憶へ移行したものの、依然として事前学習データの分布内に限られると指摘。

概要

公開日時
更新日時
出典
ARC Prize:官方博客
カテゴリ
チュートリアル
AI スコア
71
原文を読む 情報源で全文を読む
おすすめの理由

ARC Prize 用同一测试框架实测 o1 并给出测试时算力与效率分析,读者可借此理解 o1 在 ARC-AGI 上成绩有限的原因。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:ARC Prize、OpenAI o1のARC-AGI-Pubでの成績を実測。2024年9月13日。https://new.nat6.net/ja/news/cmtyo2p2t03glrog0f2a4owcg/

すべて見る →