Google Labs ने AI कोडिंग एजेंट की पहल का मूल्यांकन करने के लिए "इनसाइट रणनीति" प्रस्तावित की
मूल शीर्षक:Measuring What Matters with Jules
AI सारांश
Google Labs ने AI कोडिंग एजेंट की पहल का मूल्यांकन केवल कार्य पूर्णता के आधार पर स्कोर करने के बजाय "इनसाइट रणनीति" से करने का प्रस्ताव रखा है। टीम ने Google के आंतरिक कोडबेस के 705 बग (1178 CL) के आधार पर, स्थानिक-लौकिक निकटता और सिमेंटिक समानता क्लस्टरिंग के माध्यम से डेवलपर्स के वास्तविक उच्च-स्तरीय लक्ष्यों को पुनर्निर्मित किया। प्रारंभिक प्रयोगों से पता चला: एकल-दौर की खोज में Jules का इनसाइट प्रासंगिकता स्कोर औसतन 4.5/5 रहा; खोज बजट दो दौर से तीन दौर तक बढ़ाने पर Hit@5 सटीकता 33% से बढ़कर 57% हो गई। टीम मूल्यांकन विधि को सार्वजनिक GitHub डेटा तक विस्तारित कर रही है और इश्यू ट्रैकर, संवाद जैसे अधिक संदर्भों को शामिल करने की खोज कर रही है।
मुख्य जानकारी
- Google Labs ने AI कोडिंग एजेंट की पहल का मूल्यांकन केवल कार्य पूर्णता के आधार पर स्कोर करने के…
- स्थानिक-लौकिक निकटता और सिमेंटिक समानता क्लस्टरिंग के माध्यम से डेवलपर्स के वास्तविक उच्च-स्तरीय…
- खोज बजट दो दौर से तीन दौर तक बढ़ाने पर Hit@5 सटीकता 33% से बढ़कर 57% हो गई। टीम मूल्यांकन विधि को…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- श्रेणी
- पेपर और शोध
- AI स्कोर
- 61
AI 编码代理的评估从任务修复转向目标洞察,Google 这个思路让评估更接近真实开发场景,但实验还是内部数据,等公开 GitHub 版本再看落地效果。
संबंधित एंटिटी
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: Google Labs ने AI कोडिंग एजेंट की पहल का मूल्यांकन करने के लिए "इनसाइट रणनीति" प्रस्तावित की। 22 जून 2026। https://new.nat6.net/hi/news/cmqpeu90600l4sldksepc49lt/