튜토리얼 및 팁

Claude 3.5 Sonnet, SWE-bench Verified 벤치마크에서 기록 경신

원제목:Raising the bar on SWE-bench Verified with Claude 3.5 Sonnet

AI 요약

업그레이드된 Claude 3.5 Sonnet은 소프트웨어 공학 평가 벤치마크 SWE-bench Verified에서 49%의 해결률을 기록해 이전 최고 모델의 45%를 넘어섰다. 이 벤치마크는 실제 GitHub 이슈로 AI 모델의 소프트웨어 공학 작업 수행 능력을 테스트하며, 모델이 주어진 환경에서 코드를 이해, 수정, 테스트하고 최종적으로 원래 단위 테스트를 통과하도록 요구한다. Claude 팀이 구축한 에이전트 설계는 간결해 프롬프트, Bash 도구, 편집 도구만 포함하며 모델에 충분한 자율 판단 공간을 부여해 유연한 단계로 문제를 해결한다. 현재 이 벤치마크에서 50% 해결률을 돌파한 모델은 없다.

핵심 정보

  • 업그레이드된 Claude 3.
  • 5 Sonnet은 소프트웨어 공학 평가 벤치마크 SWE-bench Verified에서 49%의 해결률을 기록해 이전 최고 모델의 45%를 넘어섰다.
  • 이 벤치마크는 실제 GitHub 이슈로 AI 모델의 소프트웨어 공학 작업 수행 능력을 테스트하며,모델이 주어진 환경에서 코드를 이해,수정,테스트하고 최종적으로 원래 단위…
  • Claude 팀이 구축한 에이전트 설계는 간결해 프롬프트,Bash 도구,편집 도구만 포함하며 모델에 충분한 자율 판단 공간을 부여해 유연한 단계로 문제를 해결한다.
  • 현재 이 벤치마크에서 50% 해결률을 돌파한 모델은 없다.

한눈에 보기

게시
업데이트
출처
Anthropic:Engineering(事故复盘 + 工程实践 · 网页)
카테고리
튜토리얼 및 팁
AI 점수
72
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

Anthropic 把自家 SWE-bench agent 的 prompt、工具设计和踩坑经验全公开了,做 coding agent 的人可以直接抄作业,比看十篇二手解读都管用。

관련 엔티티

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: Claude 3.5 Sonnet, SWE-bench Verified 벤치마크에서 기록 경신. 2025년 1월 6일. https://new.nat6.net/ko/news/cmorb7ml1008rslhfl2itv1d3/

전체 보기 →