ARC Prize、ARC-AGI-2技術報告を発表:フロンティアモデルのスコアは5%未満、人間は100%のタスクを解ける
原題:ARC-AGI-2 A New Challenge for Frontier AI Reasoning Systems
AI 要約
ARC PrizeはARC-AGI-2技術報告を発表し、フロンティアAI推論システム向けの新ベンチマークを公開した。タスク設計は人間に易しくAIに難しい原則を維持し、総当たり探索の実現可能性を低減している。400人によるテストで1,417タスクをカバーし、人間は全タスクを解け、平均所要時間は1問約2.3分。公開時点で主要モデルのARC-AGI-2成功率はいずれも5%を超えず、同種モデルのARC-AGI-1では通常20%から50%だった。
要点
- ARC PrizeはARC-AGI-2技術報告を発表し、フロンティアAI推論システム向けの新ベンチマークを公開した。
- タスク設計は人間に易しくAIに難しい原則を維持し、総当たり探索の実現可能性を低減している。
- 400人によるテストで1,417タスクをカバーし、人間は全タスクを解け、平均所要時間は1問約2.
- 公開時点で主要モデルのARC-AGI-2成功率はいずれも5%を超えず、同種モデルのARC-AGI-1では通常20%から50%だった
概要
- 公開日時
- 更新日時
- カテゴリ
- 論文・研究
- AI スコア
- 67
おすすめの理由
官方技术报告给出人类实测与前沿模型得分对比,可以据此了解新基准的难度设计和它想度量的能力差距。
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:ARC Prize、ARC-AGI-2技術報告を発表:フロンティアモデルのスコアは5%未満、人間は100%のタスクを解ける。2025年5月20日。https://new.nat6.net/ja/news/cmtyo2p2s03g5rog00pkk4enc/