チュートリアル

Claude 3.5 SonnetがSWE-bench Verifiedベンチマークで記録を更新

原題:Raising the bar on SWE-bench Verified with Claude 3.5 Sonnet

AI 要約

アップグレード版Claude 3.5 Sonnetは、ソフトウェア工学評価ベンチマークSWE-bench Verifiedで49%の解決率を達成し、従来の最高モデルの45%を上回った。このベンチマークは実際のGitHub問題を通じてAIモデルのソフトウェア工学タスク完了能力をテストし、モデルが与えられた環境でコードを理解、修正、テストし、最終的に元の単体テストで検証されることを要求する。Claudeチームが構築したエージェント設計は簡潔で、プロンプト、Bashツール、編集ツールのみを含み、モデルに十分な自律判断の余地を与え、柔軟なステップで問題を解決する。現在、このベンチマークで50%の解決率を突破したモデルはまだない。

要点

  • アップグレード版Claude 3.
  • 5 Sonnetは、ソフトウェア工学評価ベンチマークSWE-bench Verifiedで49%の解決率を達成し、従来の最高モデルの45%を上回った。
  • このベンチマークは実際のGitHub問題を通じてAIモデルのソフトウェア工学タスク完了能力をテストし、モデルが与えられた環境でコードを理解、修正、テストし、最終的に元の単体テストで検証されることを要…
  • Claudeチームが構築したエージェント設計は簡潔で、プロンプト、Bashツール、編集ツールのみを含み、モデルに十分な自律判断の余地を与え、柔軟なステップで問題を解決する。
  • 現在、このベンチマークで50%の解決率を突破したモデルはまだない

概要

公開日時
更新日時
出典
Anthropic:Engineering(事故复盘 + 工程实践 · 网页)
カテゴリ
チュートリアル
AI スコア
72
原文を読む 情報源で全文を読む
おすすめの理由

Anthropic 把自家 SWE-bench agent 的 prompt、工具设计和踩坑经验全公开了,做 coding agent 的人可以直接抄作业,比看十篇二手解读都管用。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:Claude 3.5 SonnetがSWE-bench Verifiedベンチマークで記録を更新。2025年1月6日。https://new.nat6.net/ja/news/cmorb7ml1008rslhfl2itv1d3/

すべて見る →