OpenAIがSWE-Bench Proを監査、約30%の評価タスクに欠陥を発見
原題:Separating signal from noise in coding evaluations
AI 要約
OpenAIはコーディング評価ベンチマークSWE-Bench Proを詳細に監査し、約30%のタスクに欠陥があることを発見した。731タスクの公開サブセットでは、フロンティアモデルの合格率が8か月で23.3%から80.3%に上昇したが、データ品質チェックにより、テストが厳しすぎる、プロンプトの記述が不十分、テストカバレッジが不完全、または誤解を招くプロンプトなど、多くのタスクに問題があることが示された。OpenAIはモデル開発者に対し評価結果を注意深く検討するよう勧め、AIエージェントが大規模なデータ品質チェックにおいてますます実用性を高めていると指摘した。
要点
- OpenAIはコーディング評価ベンチマークSWE-Bench Proを詳細に監査し、約30%のタスクに欠陥があることを発見した。
- 731タスクの公開サブセットでは、フロンティアモデルの合格率が8か月で23.
- 3%に上昇したが、データ品質チェックにより、テストが厳しすぎる、プロンプトの記述が不十分、テストカバレッジが不完全、または誤解を招くプロンプトなど、多くのタスクに問題があることが示された。
- OpenAIはモデル開発者に対し評価結果を注意深く検討するよう勧め、AIエージェントが大規模なデータ品質チェックにおいてますます実用性を高めていると指摘した
概要
- 公開日時
- 更新日時
- カテゴリ
- 論文・研究
- AI スコア
- 70
おすすめの理由
OpenAI 自己审计了 SWE-Bench Pro,发现三成任务有缺陷,这个基准给出来的分数可能要打问号,做模型评测和选型的人该认真看看。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:OpenAIがSWE-Bench Proを監査、約30%の評価タスクに欠陥を発見。2026年7月8日。https://new.nat6.net/ja/news/cmrcigf5k01bqihx54i8oph9u/