ट्यूटोरियल और टिप्स

Claude 3.5 Sonnet ने SWE-bench Verified बेंचमार्क में नया रिकॉर्ड बनाया

मूल शीर्षक:Raising the bar on SWE-bench Verified with Claude 3.5 Sonnet

AI सारांश

उन्नत Claude 3.5 Sonnet ने सॉफ़्टवेयर इंजीनियरिंग मूल्यांकन बेंचमार्क SWE-bench Verified पर 49% समाधान दर हासिल की, जो पिछले सर्वश्रेष्ठ मॉडल के 45% से अधिक है। यह बेंचमार्क वास्तविक GitHub समस्याओं के माध्यम से एआई मॉडल की सॉफ़्टवेयर इंजीनियरिंग कार्य पूरा करने की क्षमता का परीक्षण करता है, जिसमें मॉडल को दिए गए वातावरण में कोड समझने, संशोधित करने और परीक्षण करने की आवश्यकता होती है, और अंत में मूल यूनिट परीक्षणों से सत्यापन होता है। Claude टीम द्वारा बनाया गया एआई एजेंट डिज़ाइन सरल है—इसमें केवल प्रॉम्प्ट, Bash टूल और संपादन टूल शामिल हैं—जो मॉडल को पर्याप्त स्वायत्त निर्णय क्षमता देता है ताकि वह लचीले चरणों में समस्या हल कर सके। वर्तमान में किसी भी मॉडल ने इस बेंचमार्क पर 50% समाधान दर पार नहीं की है।

मुख्य जानकारी

  • उन्नत Claude 3.
  • 5 Sonnet ने सॉफ़्टवेयर इंजीनियरिंग मूल्यांकन बेंचमार्क SWE-bench Verified पर 49% समाधान दर हासिल…
  • और अंत में मूल यूनिट परीक्षणों से सत्यापन होता है। Claude टीम द्वारा बनाया गया एआई एजेंट डिज़ाइन…

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
Anthropic:Engineering(事故复盘 + 工程实践 · 网页)
श्रेणी
ट्यूटोरियल और टिप्स
AI स्कोर
72
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

Anthropic 把自家 SWE-bench agent 的 prompt、工具设计和踩坑经验全公开了,做 coding agent 的人可以直接抄作业,比看十篇二手解读都管用。

संबंधित एंटिटी

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: Claude 3.5 Sonnet ने SWE-bench Verified बेंचमार्क में नया रिकॉर्ड बनाया। 6 जनवरी 2025। https://new.nat6.net/hi/news/cmorb7ml1008rslhfl2itv1d3/

सभी देखें →