SWE-bench Verifiedが最先端コーディング能力を測定しなくなった理由
AI 要約
OpenAIは、最先端コーディング能力の評価にSWE-bench Verifiedベンチマークを使用することを停止すると発表した。このベンチマークはGitHubの過去の問題に基づいて構築されており、そのタスク分布は現在のAIコーディングアシスタントが解決すべき実際の問題タイプを正確に反映できなくなっている。モデル性能の向上に伴い、ベンチマークテストセットは飽和し、識別力が低下し、既存モデルのパフォーマンスは人間のレベルに近づいている。そのため、チームはより挑戦的で現実的な複雑さを持つ新しい評価方法へ移行する。
要点
- OpenAIは、最先端コーディング能力の評価にSWE-bench Verifiedベンチマークを使用することを停止すると発表した。
- このベンチマークはGitHubの過去の問題に基づいて構築されており、そのタスク分布は現在のAIコーディングアシスタントが解決すべき実際の問題タイプを正確に反映できなくなっている。
- モデル性能の向上に伴い、ベンチマークテストセットは飽和し、識別力が低下し、既存モデルのパフォーマンスは人間のレベルに近づいている。
- そのため、チームはより挑戦的で現実的な複雑さを持つ新しい評価方法へ移行する
概要
- 公開日時
- 更新日時
- カテゴリ
- オピニオン
- AI スコア
- 71
おすすめの理由
OpenAI 亲自给 SWE-bench Verified 判了死刑,这比任何第三方评测都有说服力。做 coding agent 选型的人该认真想想,你的 benchmark 体系是不是也该换了。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:SWE-bench Verifiedが最先端コーディング能力を測定しなくなった理由。2026年4月27日。https://new.nat6.net/ja/news/cmog2im0800vbslr37vxebh5g/