METRが時間視野研究を発表:AIが完了できるタスク時間は約7カ月ごとに倍増
原題:Measuring AI Ability to Complete Long Software Tasks
AI 要約
METRはAIエージェントが完了できるタスク時間(人間の専門家に必要な時間で衡量)でモデル能力を測定する手法を提案し、過去6年間でこの指標が指数関数的に増加し、倍増時間は約7カ月、SWE-Bench Verifiedでは倍増時間が3カ月未満であることを発見した。
要点
- METRはAIエージェントが完了できるタスク時間(人間の専門家に必要な時間で衡量)でモデル能力を測定する手法を提案し
- 過去6年間でこの指標が指数関数的に増加し
- 倍増時間は約7カ月、SWE-Bench Verifiedでは倍増時間が3カ月未満であることを発見した
概要
- 公開日時
- 更新日時
- カテゴリ
- 論文・研究
- AI スコア
- 75
おすすめの理由
METR 用任务时长衡量模型能力,给出六年间指数增长趋势和约 7 个月翻倍速度,为理解模型真实工作能力提供一个可比较的框架。
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:METRが時間視野研究を発表:AIが完了できるタスク時間は約7カ月ごとに倍増。2025年3月19日。https://new.nat6.net/ja/news/cmtyo7nb703vgrog0j0ha07cl/