논문 및 연구

에이전트 코딩 평가에서 인프라 간섭 정량화

원제목:Quantifying infrastructure noise in agentic coding evals

AI 요약

연구에 따르면 SWE-bench 등 에이전트 코딩 벤치마크에서 인프라 구성 차이가 모델 점수에 미치는 영향이 리더보드 상위 모델 간의 미세한 점수 차이를 초과할 수 있다. 내부 실험에서 Terminal-Bench 2.0의 가장 엄격한 리소스 설정과 가장 관대한 설정 간 성공률 차이는 6%였다. 엄격한 리소스 제한은 약 6%의 작업이 컨테이너 예기치 않은 종료로 실패하게 했으며, 관대한 구성에서는 이러한 오류율이 0.5%까지 낮아졌다. 리소스 여유가 벤치마크 사양의 3배를 초과하면 에이전트는 추가 리소스를 활용해 원래 해결할 수 없었던 작업까지 성공적으로 완료할 수 있었다. 이는 평가 환경이 테스트 안정성뿐 아니라 벤치마크가 실제로 측정하는 능력 차원까지 바꿀 수 있음을 보여준다.

핵심 정보

  • 연구에 따르면 SWE-bench 등 에이전트 코딩 벤치마크에서 인프라 구성 차이가 모델 점수에 미치는 영향이 리더보드 상위 모델 간의 미세한 점수 차이를 초과할 수 있다.
  • 내부 실험에서 Terminal-Bench 2.
  • 0의 가장 엄격한 리소스 설정과 가장 관대한 설정 간 성공률 차이는 6%였다.
  • 엄격한 리소스 제한은 약 6%의 작업이 컨테이너 예기치 않은 종료로 실패하게 했으며,관대한 구성에서는 이러한 오류율이 0.
  • 5%까지 낮아졌다.

한눈에 보기

게시
업데이트
출처
Anthropic:Engineering(事故复盘 + 工程实践 · 网页)
카테고리
논문 및 연구
AI 점수
74
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

Anthropic 用自家数据证明,agentic coding benchmark 的排行榜差距可能只是硬件配置差异而非模型能力差距,3 个百分点以内的领先都该打问号。做模型选型的人别再迷信那几个百分点了。

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: 에이전트 코딩 평가에서 인프라 간섭 정량화. 2026년 2월 5일. https://new.nat6.net/ko/news/cmorb7ml0008bslhfiqfwufv7/

전체 보기 →