METRがRE-Benchを公開:言語モデルエージェントと人間専門家のAI研究開発能力を比較
原題:Evaluating frontier AI R&D capabilities of language model agents against human experts
AI 要約
METRはRE-Benchベンチマークを公開し、7つのML研究工学環境で人間専門家と最先端モデルエージェントの性能を測定するとともに、人間専門家71回の試行およびClaude 3.5 Sonnetとo1-previewの全実行記録を公開した。
要点
- METRはRE-Benchベンチマークを公開し、7つのML研究工学環境で人間専門家と最先端モデルエージェントの性能を測定するとともに
- 人間専門家71回の試行およびClaude 3.
- 5 Sonnetとo1-previewの全実行記録を公開した
概要
- 公開日時
- 更新日時
- カテゴリ
- 論文・研究
- AI スコア
- 62
おすすめの理由
原文在同一环境公平对比人类专家与前沿模型智能体,并给出长短时间预算下得分反转的关键数据和完整开源转录。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:METRがRE-Benchを公開:言語モデルエージェントと人間専門家のAI研究開発能力を比較。2024年11月22日。https://new.nat6.net/ja/news/cmtyo7nb703vkrog0y9c82c3h/