論文・研究

ARC Prize、ARC-AGI-2技術報告を発表:フロンティアモデルのスコアは5%未満、人間は100%のタスクを解ける

原題:ARC-AGI-2 A New Challenge for Frontier AI Reasoning Systems

AI 要約

ARC PrizeはARC-AGI-2技術報告を発表し、フロンティアAI推論システム向けの新ベンチマークを公開した。タスク設計は人間に易しくAIに難しい原則を維持し、総当たり探索の実現可能性を低減している。400人によるテストで1,417タスクをカバーし、人間は全タスクを解け、平均所要時間は1問約2.3分。公開時点で主要モデルのARC-AGI-2成功率はいずれも5%を超えず、同種モデルのARC-AGI-1では通常20%から50%だった。

要点

  • ARC PrizeはARC-AGI-2技術報告を発表し、フロンティアAI推論システム向けの新ベンチマークを公開した。
  • タスク設計は人間に易しくAIに難しい原則を維持し、総当たり探索の実現可能性を低減している。
  • 400人によるテストで1,417タスクをカバーし、人間は全タスクを解け、平均所要時間は1問約2.
  • 公開時点で主要モデルのARC-AGI-2成功率はいずれも5%を超えず、同種モデルのARC-AGI-1では通常20%から50%だった

概要

公開日時
更新日時
出典
ARC Prize:官方博客
カテゴリ
論文・研究
AI スコア
67
原文を読む 情報源で全文を読む
おすすめの理由

官方技术报告给出人类实测与前沿模型得分对比,可以据此了解新基准的难度设计和它想度量的能力差距。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:ARC Prize、ARC-AGI-2技術報告を発表:フロンティアモデルのスコアは5%未満、人間は100%のタスクを解ける。2025年5月20日。https://new.nat6.net/ja/news/cmtyo2p2s03g5rog00pkk4enc/

すべて見る →