オピニオン

SWE-bench Verifiedが最先端コーディング能力を測定しなくなった理由

AI 要約

OpenAIは、最先端コーディング能力の評価にSWE-bench Verifiedベンチマークを使用することを停止すると発表した。このベンチマークはGitHubの過去の問題に基づいて構築されており、そのタスク分布は現在のAIコーディングアシスタントが解決すべき実際の問題タイプを正確に反映できなくなっている。モデル性能の向上に伴い、ベンチマークテストセットは飽和し、識別力が低下し、既存モデルのパフォーマンスは人間のレベルに近づいている。そのため、チームはより挑戦的で現実的な複雑さを持つ新しい評価方法へ移行する。

要点

  • OpenAIは、最先端コーディング能力の評価にSWE-bench Verifiedベンチマークを使用することを停止すると発表した。
  • このベンチマークはGitHubの過去の問題に基づいて構築されており、そのタスク分布は現在のAIコーディングアシスタントが解決すべき実際の問題タイプを正確に反映できなくなっている。
  • モデル性能の向上に伴い、ベンチマークテストセットは飽和し、識別力が低下し、既存モデルのパフォーマンスは人間のレベルに近づいている。
  • そのため、チームはより挑戦的で現実的な複雑さを持つ新しい評価方法へ移行する

概要

公開日時
更新日時
出典
OpenAI:官网动态(RSS · 排除企业/客户案例)
カテゴリ
オピニオン
AI スコア
71
原文を読む 情報源で全文を読む
おすすめの理由

OpenAI 亲自给 SWE-bench Verified 判了死刑,这比任何第三方评测都有说服力。做 coding agent 选型的人该认真想想,你的 benchmark 体系是不是也该换了。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:SWE-bench Verifiedが最先端コーディング能力を測定しなくなった理由。2026年4月27日。https://new.nat6.net/ja/news/cmog2im0800vbslr37vxebh5g/

すべて見る →
  • GPUスポット価格が6週間で114%急騰

    Ornn Compute Price Indexのデータによると、NVIDIA B200 GPUのスポットレンタル価格は6週間で114%急騰し、3月初旬の2.31ドルから今週は4.95ドル/時間となった。この急騰はGPT-5.5など最先端…

    Tomasz Tunguz 博客(VC 分析)オピニオンAI スコア 64

  • 最近のClaude Code品質報告に関する更新説明

    Anthropicは過去1か月にClaude Code、Claude Agent SDK、Claude Coworkに影響した3つの問題を確認し解決した。すべて4月20日に修正済みである。具体的には、3月4日にClaude Codeのデフ…

    Anthropic:Engineering(事故复盘 + 工程实践 · 网页)オピニオンAI スコア 72

  • 今は無効となったOpenAIとMicrosoftのAGI条項の変遷史

    MicrosoftとOpenAIの長期提携にはかつて、汎用人工知能(AGI)が実現した時点でMicrosoftの商業的知的財産権が失効するという特別条項が含まれていた。AGIは当初曖昧に定義されていたが、2024年には初期投資家に約100…

    Simon Willison 博客オピニオンAI スコア 75

  • Cognition、2年間の Devin クラウドエージェント基盤構築の経験を振り返る

    Cognition は2年間の Devin 開発経験に基づき、クラウドエージェント構築における2つの大きな投資、インフラと組織変革を振り返った。記事はコンテナのカーネル共有に脱出リスクがあり、非同期の隙間に状態を確実に保存できないと指摘し…

    Cognition 模型 / Devin 博客(网页)オピニオンAI スコア 63

  • AI営業における3つの核心的質問

    AI営業の戦略は、ソフトウェア予算を尋ねる段階から3つの核心的質問へと移行している。ソフトウェアの総予算、人件費の総予算、そして3年後に両者がどのような比率になることを顧客が期待しているか、である。この転換により営業対話は戦略的レベルへと…

    Tomasz Tunguz 博客(VC 分析)オピニオンAI スコア 63