論文・研究

OpenAIがSWE-Bench Proを監査、約30%の評価タスクに欠陥を発見

原題:Separating signal from noise in coding evaluations

AI 要約

OpenAIはコーディング評価ベンチマークSWE-Bench Proを詳細に監査し、約30%のタスクに欠陥があることを発見した。731タスクの公開サブセットでは、フロンティアモデルの合格率が8か月で23.3%から80.3%に上昇したが、データ品質チェックにより、テストが厳しすぎる、プロンプトの記述が不十分、テストカバレッジが不完全、または誤解を招くプロンプトなど、多くのタスクに問題があることが示された。OpenAIはモデル開発者に対し評価結果を注意深く検討するよう勧め、AIエージェントが大規模なデータ品質チェックにおいてますます実用性を高めていると指摘した。

要点

  • OpenAIはコーディング評価ベンチマークSWE-Bench Proを詳細に監査し、約30%のタスクに欠陥があることを発見した。
  • 731タスクの公開サブセットでは、フロンティアモデルの合格率が8か月で23.
  • 3%に上昇したが、データ品質チェックにより、テストが厳しすぎる、プロンプトの記述が不十分、テストカバレッジが不完全、または誤解を招くプロンプトなど、多くのタスクに問題があることが示された。
  • OpenAIはモデル開発者に対し評価結果を注意深く検討するよう勧め、AIエージェントが大規模なデータ品質チェックにおいてますます実用性を高めていると指摘した

概要

公開日時
更新日時
出典
OpenAI:官网动态(RSS · 排除企业/客户案例)
カテゴリ
論文・研究
AI スコア
70
原文を読む 情報源で全文を読む
おすすめの理由

OpenAI 自己审计了 SWE-Bench Pro,发现三成任务有缺陷,这个基准给出来的分数可能要打问号,做模型评测和选型的人该认真看看。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:OpenAIがSWE-Bench Proを監査、約30%の評価タスクに欠陥を発見。2026年7月8日。https://new.nat6.net/ja/news/cmrcigf5k01bqihx54i8oph9u/

すべて見る →