Claude 3.5 SonnetがSWE-bench Verifiedベンチマークで記録を更新
原題:Raising the bar on SWE-bench Verified with Claude 3.5 Sonnet
AI 要約
アップグレード版Claude 3.5 Sonnetは、ソフトウェア工学評価ベンチマークSWE-bench Verifiedで49%の解決率を達成し、従来の最高モデルの45%を上回った。このベンチマークは実際のGitHub問題を通じてAIモデルのソフトウェア工学タスク完了能力をテストし、モデルが与えられた環境でコードを理解、修正、テストし、最終的に元の単体テストで検証されることを要求する。Claudeチームが構築したエージェント設計は簡潔で、プロンプト、Bashツール、編集ツールのみを含み、モデルに十分な自律判断の余地を与え、柔軟なステップで問題を解決する。現在、このベンチマークで50%の解決率を突破したモデルはまだない。
要点
- アップグレード版Claude 3.
- 5 Sonnetは、ソフトウェア工学評価ベンチマークSWE-bench Verifiedで49%の解決率を達成し、従来の最高モデルの45%を上回った。
- このベンチマークは実際のGitHub問題を通じてAIモデルのソフトウェア工学タスク完了能力をテストし、モデルが与えられた環境でコードを理解、修正、テストし、最終的に元の単体テストで検証されることを要…
- Claudeチームが構築したエージェント設計は簡潔で、プロンプト、Bashツール、編集ツールのみを含み、モデルに十分な自律判断の余地を与え、柔軟なステップで問題を解決する。
- 現在、このベンチマークで50%の解決率を突破したモデルはまだない
概要
- 公開日時
- 更新日時
- カテゴリ
- チュートリアル
- AI スコア
- 72
Anthropic 把自家 SWE-bench agent 的 prompt、工具设计和踩坑经验全公开了,做 coding agent 的人可以直接抄作业,比看十篇二手解读都管用。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:Claude 3.5 SonnetがSWE-bench Verifiedベンチマークで記録を更新。2025年1月6日。https://new.nat6.net/ja/news/cmorb7ml1008rslhfl2itv1d3/