논문 및 연구

OpenAI, SWE-Bench Pro 감사 결과 약 30% 평가 작업에 결함 발견

원제목:Separating signal from noise in coding evaluations

AI 요약

OpenAI는 코딩 평가 벤치마크 SWE-Bench Pro를 상세 감사한 결과 약 30%의 작업에 결함이 있음을 발견했다. 731개 작업의 공개 하위 집합에서 프런티어 모델 통과율은 8개월 만에 23.3%에서 80.3%로 상승했지만, 데이터 품질 점검 결과 다수 작업에 테스트가 지나치게 엄격하거나 프롬프트 설명이 부족하거나 테스트 커버리지가 불완전하거나 오해를 유발하는 프롬프트 등의 문제가 있었다. OpenAI는 모델 개발자들에게 평가 결과를 신중히 검토할 것을 권고하며, AI 에이전트가 대규모 데이터 품질 점검에서 점점 더 유용해지고 있다고 지적했다.

핵심 정보

  • OpenAI는 코딩 평가 벤치마크 SWE-Bench Pro를 상세 감사한 결과 약 30%의 작업에 결함이 있음을 발견했다.
  • 731개 작업의 공개 하위 집합에서 프런티어 모델 통과율은 8개월 만에 23.
  • 3%로 상승했지만,데이터 품질 점검 결과 다수 작업에 테스트가 지나치게 엄격하거나 프롬프트 설명이 부족하거나 테스트 커버리지가 불완전하거나 오해를 유발하는 프롬프트 등의 문제가…
  • OpenAI는 모델 개발자들에게 평가 결과를 신중히 검토할 것을 권고하며,AI 에이전트가 대규모 데이터 품질 점검에서 점점 더 유용해지고 있다고 지적했다.

한눈에 보기

게시
업데이트
출처
OpenAI:官网动态(RSS · 排除企业/客户案例)
카테고리
논문 및 연구
AI 점수
70
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

OpenAI 自己审计了 SWE-Bench Pro,发现三成任务有缺陷,这个基准给出来的分数可能要打问号,做模型评测和选型的人该认真看看。

관련 엔티티

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: OpenAI, SWE-Bench Pro 감사 결과 약 30% 평가 작업에 결함 발견. 2026년 7월 8일. https://new.nat6.net/ko/news/cmrcigf5k01bqihx54i8oph9u/

전체 보기 →